AI開発の転機？　オープンソースには勝てない

「LLaMA」の流出から爆発的進化

　文書に沿いながら、何が起こったのかをみていこう。

　文書が挙げるポイントは、Metaの軽量・高性能のLLM基盤モデル「LLaMA」の「重み」が流出したときだ。リリースから1週間後の3月3日のことだった。

　LLMは、ニューラルネットワークの構造と、これをデータで訓練することで得られる重みでできている。重みは、数十億ものパラメータの各値からなる学習結果であり、モデルが持つ「知識」そのものとも言える。その訓練には、強力なハードウェアと膨大な費用がかかる。

　LLaMAはオープンソースではあるが、重みは研究向けの非商用ライセンスで、申請して認められた者だけに提供される。だが、これを取得した何者かがネット掲示版「4chan」上で公開した。

　The Vergeはこのとき、研究者のコメントとともに「LLaMAをダウンロードしても、平均的なインターネットユーザーにとってはほとんど意味がない」と解説。即座の影響は少ないだろうとみていた。

　しかし、開発コミュニティでは猛烈な勢いで進化が始まる。LLaMAを使って「誰でも実験できるようになった」ことで新しいアイデアと成果が次々に出てきた。

　3月18日には、個人開発者がLLaMAをMacBookのCPU上で動作させることに成功。ノートパソコンで実行できるランタイム「llama.cpp」の登場によるもので、すぐにWindowsノートでも動作するようになった。3月12日には、メモリー4GBの「Raspberry Pi」で、極めて遅いながら実行したとの報告も出ていた。

　「突然、誰でもモデルをファインチューニングして何でもできるようになり、低予算のファインチューニングプロジェクトで草の根の競争が始まった」と文書は述べている。OpenAIがGTP-3以降のLLMやChatGPTの詳細を公開せず、囲い込んでいることへの反発もエネルギーになった。