「AIに透明性を」　Metaが大規模言語モデルを無償公開

巨大言語モデルは企業の重要機密

　自然言語処理はAIでも最もホットな分野の一つだ。高度な文章生成や、読解、分類などを行い、応用範囲も、チャットボットから、翻訳、テキストマイニングなど幅広い。

　これらを可能にする言語モデルは、ここ5年ほどで急速に巨大化してきた。パラメータが1000億を超えるものを大規模言語モデル（LLM）と呼ぶが、2020年に登場した1750億パラメータのGPT-3の後も拡大は止まらない。

　最近の例では、Googleが4月はじめに発表した「PaLM」（Pathways Language Model）がある。マルチモーダル、マルチタスクを特徴とする同社の次世代アーキテクチャ「Pathways」の最初の成果で、パラメータ数は5400億に達した。

　PaLMは動作を効率化する多くの技術を採用しているが、パラメータ数が性能を引き上げるという点は変わっていない。Goggleは「（PaLMが）引き続き、スケーリングのメリットを実証した」と述べている。

　そして、こうした巨大モデルの作成には、とてつもない計算リソースを要する。例えば、GPT-3の場合、訓練には1024基のGPUで4カ月かかったという。このため、巨大言語モデルを開発できるのは、実質的に、技術力と資金力を持つ巨大IT企業に限られる。

　そうして開発された言語モデルの全てが公開されることは、まずない。GPT-3の場合、有料（一部無料利用も可能）でAPIだけが提供されている。前バージョンのGPT-2は縮小版がオープンソースで公開されているが、全体は未公開だ（OepnAIは、「悪用を懸念した」としている）。

　Meta AIの発表は、こうした現状に一石を投じるものとなる。