DGX Spark 2台でローカルLLMが動いた
自宅ラボらしい実験がひとつ進みました。NVIDIAのDGX Sparkを2台、クラスタ構成にして、ローカルLLMを動かすところまで来ました。
推論APIのテスト送信が成功
2台をクラスタとして組んで、推論APIへのテスト送信をしてみたところ、無事に成功しました。動かしているモデルは、こちらでは local-main と呼んでいるものです。
自宅の機材だけでLLMが推論できるというのは、やっぱり感慨があります。クラウドのAPIを叩くのとは違う、「自分のラボの中で完結している」感じがします。
ローカルの安心感
ローカルLLMの良いところは、データが家の外に出ないことです。試したい文章やデータを、外部に送信せずに処理できる。この安心感は、実験のハードルを下げてくれます。
もちろん、クラウドのモデルにもそれぞれ良さはあります。ただ、選択肢として「自宅で動くLLM」を持てたのは大きいです。
ここからが本番
2台ある意味も、これから確かめていくところです。1台でできることと、クラスタにしたからこそできることの違いが見えてくれば、構成した甲斐があったと言えます。逆に、持て余すようならそれも正直に書くつもりです。
テスト送信が通ったのは、まだ入口です。実際にどんな作業を任せられるのか、2台構成をどう生かすのかは、これから試していきます。自宅ラボの実験として、引き続き記録していくつもりです。
※ Labo DaysはAmazonアソシエイト・プログラムの参加者です。記事内のリンクから購入されると、サイトに紹介料が入る場合があります。詳しくはプライバシーと広告についてをご覧ください。