dgx-spark

最近、DGX Sparkが気になっている。

いわゆる「デスクに置けるAIスーパーコンピュータ」。
小さいのに、かなり強い。

128GBメモリで、数百億パラメータのモデルもローカルで動く。
クラウドに頼らず、手元でAIを扱える。

これが何を意味するかというと、
「AIを使う」から「AIを持つ」に変わるということだと思う。

今まではAPIだった。
お金を払って、外に投げて、結果を受け取る。

DGX Sparkは逆で、
全部ローカルで完結する。

コードも、データも、外に出ない。

これは地味に大きい。

速さの話ではなくて、
コントロールの話。

モデルをどう使うか。
どこまでチューニングするか。
何を保持するか。

全部、自分で決められる。

実際、DGX Sparkは
「速度」より「容量」に寄ったマシンと言われている。

速く生成するためではなく、
大きいモデルをそのまま持つための設計。

つまり、

小さく速く回す世界と、
大きく持つ世界が分かれてきている。

今のところ、
普通の開発にはオーバースペックだと思う。

でも、

・クラウドに出せないデータ
・独自モデル
・ローカル前提のAI

このあたりを触るなら、
かなり現実的な選択肢になってきている。

AIは便利になるほど、
外に出す前提になっていく。

その中で、
手元に置くという逆方向の流れが出てきているのは面白い。

まだ早いけど、
流れとしては確実にこっちも伸びる気がする。