ニュース

東工大、富士通など4者、スパコン「富岳」で大規模言語モデル分散並列学習手法を開発

 国立大学法人東京工業大学、国立大学法人東北大学、富士通株式会社、国立研究開発法人理化学研究所の4者は22日、スーパーコンピューター「富岳」の政策対応枠において、大規模言語モデル(LLM:Large Language Model)の分散並列学習手法の研究開発を2023年5月から実施すると発表した。

 大規模言語モデルは、ChatGPTをはじめとする生成AIの中核として使用されている、深層学習のAIモデル。4者は今後、研究開発の成果物を公開することで、アカデミアや企業が幅広く使える大規模言語モデルの構築環境を整え、国内におけるAIの研究力向上に貢献し、学術および産業の両面で富岳の活用価値を高めることを目指すとしている。

 実施期間は、2023年5月24日から2024年3月31日まで。今回開発する大規模言語モデル分散並列学習手法は、富岳の超大規模な並列計算環境において、大規模言語モデル学習を効率良く実行する技術となる。

 東京工業大学は全体総括、大規模言語モデルの並列化および高速化を担当。東北大学は学習用データの収集、モデルの選択、富士通は大規模言語モデルの高速化、理化学研究所は大規模言語モデルの分散並列化・通信高速化、大規模言語モデルの高速化を担当する。

 今後4者は、日本の研究者やエンジニアが大規模言語モデルの開発に活用できるよう、今回の政策対応枠で得られた研究成果を、2024年度にGitHubやHugging Faceを通じて公開する予定。また、多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、効率的な方法が創出され、次世代の革新的な研究やビジネスの成果につながることが期待されるとしている。

 さらに、ものづくりをはじめとする産業分野などへの応用を想定した、マルチモーダル化のためのデータ生成手法および学習手法の開発を行う国立大学法人東海国立大学機構名古屋大学や、大規模言語モデル構築のためのデータおよび技術提供を行う株式会社サイバーエージェントとの連携も今後検討していくとしている。