「AIに透明性を」　Metaが大規模言語モデルを無償公開

　Meta Platforms（旧Facebook）が、自社開発の大規模言語モデルを無償で公開した。大きさを表すパラメータ数は1750億で、世界に衝撃を与えたOpenAIの「GPT-3」と同規模だ。開発コミュニティでは、AIの訓練で起こるバイアスの問題が注目を集めている。Metaは全てを公開することで、解決につながることを期待しているという。

訓練過程データまで全て公開

　MetaのAI部門、Meta AIは5月3日、「OPT-175B（Open Pretrained Transformer-175B）」と呼ぶ訓練済みの言語モデルを発表した。「この規模の言語システムで、事前学習済みモデルと、その学習と使用に必要なコードの両方がリリースされるのは初めて」と公式ブログで説明している。

　公開するのは、コード、訓練のプロセスのログなど開発プロセスを記録した全てのメモ、計算量などで、「NVIDIA V100GPU 16基」というハードウェア情報まである。

　また、同じデータセットで学習した1億2500万から660億パラメータの複数の小規模モデルも提供する。これらを比較することで「規模の効果」がどのように働くのかも研究できるとしている。

　「既存の大規模言語モデルはアクセスが制限されており、どのように、なぜ機能するのかを研究者たちは理解できていない。このため、堅牢化、バイアスや毒性の排除のための研究が進まない」をMetaは説明する。

　Meta AIのマネージングディレクターJoelle Pineau氏は「より多くの人が参加することで、より早くブレークスルーがもたらされる」と述べている。Pineau氏はカナダ・マギル大学の准教授で、2017年からMetaの仕事を兼務している。MIT Technology Reviewによると、この公開は、Pineau氏に負うところが大きいという。

　OPT-175Bは、研究者や政府機関、市民団体などの利用を想定しており、「完全性を維持し、誤用を防ぐ」ため、非商用ライセンスで提供するという。既にGitHubのリポジトリで公開されている。