もうひとつのDeepSeekショック　爆発的に進むオープンソースAI開発

高性能AIモデルの超軽量化が現実に

　V-3とR1の登場で、オープンソースコミュニティでは熱狂的な反応が起こっているという。

　テクノロジージャーナリストのMatthew Smith氏は「V-3とR1をベースにした700以上のモデルが、AIコミュニティプラットフォームのHuggingFaceで利用可能になっている。これらは合わせて500万回以上ダウンロードされている」とIEEE Spectrumへの寄稿で報告している。

　この状況は、LlamaがオープンになったあとのオープンソースAI研究の活況を思い出させる。

　そんな中、軽量化では、さらに強力な「1.58ビット動的量子化」モデルが生まれた。サンフランシスコのAI開発会社Unsloth AIが開発したもので、R1のサイズを80％削減したという。R1リリースから1週間後のことだ。

　1.58ビット量子化は、重みを3値（一般的には32ビット＝約43億値が利用される）にまで凝縮する手法で、Microsoftの中国チームが2024年2月、「BitNet b1.58」として発表した。計算量を劇的に削減できるが、精度が落ちると言われている。

　これを、モデルのレイヤーごとに1.56ビット、32ビットなど使い分けることで、OpenAIの「o1」相当の性能を実現したという。サイズは131GB（オリジナルは720GB）なので、頑張れば個人のPCでも実行可能なレベルだ。

　小型で強力なモデルは、AIのコモディティ化を一気に進める可能性がある。

　さらにHuggingFaceは翌1月28日、「R1の完全なオープンソース版」の作成を目指すプロジェクト「Open-R1」を発表した。重みは公開されているものの、R1の動作には非公開の部分がある。この不足部分を構築して「誰もが再現できるようにする」のが目標だ。

　MetaがLlamaで示したオープン化の流れは、中国のDeepSeekによって大きく動き出した。