ChatGPTを代替する？　大規模言語モデルの軽量ソリューション

　ChatGPTを実現しているのは「GPT-3」のような大規模言語モデル（LLM）だが、こうしたLLMはとてつもないリソース食いで大きなコストがかかる。AIの処理には特別なハードウェアと膨大な計算能力が必須というのが、これまで前提だった。しかし、最近になって、省リソースのモデルや手法が登場している。いずれは、コンシューマー向けのパソコンでAIアプリを提供することも可能になりそうだ。

軽量かつ高性能なLLM

　Meta Platformsの研究機関Meta AIは2月24日、新しい大規模言語モデル「LLaMA」（Large Language Model Meta AI）を発表した。調整によってさまざまなタスクに対応できる「基盤モデル（foundation model）」で、さまざまなユースケースに適用できるように設計されている。OpenAIで言えば、ChatGPTを構築しているGPT-3にあたる。

　LLaMAには4種類（パラメータ数70億、130億、330億、650億）のサイズがあり、それぞれ1兆個あるいは1兆4000億個のトークン（単語、単語の断片単位）で学習している。注目すべきは、このうち130億パラメータの「LLaMA-13B」がシングルGPUで動作し、しかも「ほとんどのベンチマークで（1750億パラメータの）GPT-3を上回った」（Meta）ということだ。

　これまでのLLMは、AI向けに開発された最上位のデータセンター向けGPU（多くはNVIDIA V100、80GBメモリ）が複数台必要だった。現実的にはデータセンターやクラウドでしか動作しない。これに対して、LLaMA-13Bは16GBのメモリを搭載したシングルGPU（Nvidia Tesla V100）で動作。10倍のサイズのGPT-3と性能で渡り合えるという。

　LLMを扱いやすく、低コストで利用するための試みは、ほかにも登場している。

　LLaMAほどメディアの注目は集めなかったが、前週の2月15日には、AI向けフレームワーク「FlexGen」が発表されている。スタンフォード大学やUCバークレーなどの研究者が開発した高スループットの生成エンジンで、「高価なシステムではなく、単一のコモディティGPUなど低コストのハードウェアで、新しいアプリケーションを可能にすることを目指す」と説明している。

　テストでは、シングルGPU（NVIDIA T4、16GB）に200GB以上のメインメモリを組み合わせ、Meta AIが研究者向けに公開しているLLM「OPT-175B」を動かすことに成功した。OPT-175BはGPT-3と同じ1750億パラメータのLLMだ。

　グループの論文によると、FlexGenは「GPU、CPU、ディスクの演算を合計することで、ハードウェアリソースに制約があっても柔軟に構成できる」という。プロセスの多くの部分をメインメモリにオフロードするほか、プロセスの改善を組み合わせたとしている。