DGX Spark 2台でローカルLLMが動いた

自宅ラボらしい実験がひとつ進みました。NVIDIAのDGX Sparkを2台、クラスタ構成にして、ローカルLLMを動かすところまで来ました。

推論APIのテスト送信が成功

2台をクラスタとして組んで、推論APIへのテスト送信をしてみたところ、無事に成功しました。動かしているモデルは、こちらでは local-main と呼んでいるものです。

自宅の機材だけでLLMが推論できるというのは、やっぱり感慨があります。クラウドのAPIを叩くのとは違う、「自分のラボの中で完結している」感じがします。

ローカルの安心感

ローカルLLMの良いところは、データが家の外に出ないことです。試したい文章やデータを、外部に送信せずに処理できる。この安心感は、実験のハードルを下げてくれます。

もちろん、クラウドのモデルにもそれぞれ良さはあります。ただ、選択肢として「自宅で動くLLM」を持てたのは大きいです。

ここからが本番

2台ある意味も、これから確かめていくところです。1台でできることと、クラスタにしたからこそできることの違いが見えてくれば、構成した甲斐があったと言えます。逆に、持て余すようならそれも正直に書くつもりです。

テスト送信が通ったのは、まだ入口です。実際にどんな作業を任せられるのか、2台構成をどう生かすのかは、これから試していきます。自宅ラボの実験として、引き続き記録していくつもりです。

※ Labo DaysはAmazonアソシエイト・プログラムの参加者です。記事内のリンクから購入されると、サイトに紹介料が入る場合があります。詳しくはプライバシーと広告についてをご覧ください。