ELYZA、商用利用可能な130億パラメータの日本語LLMを一般公開

　大規模言語モデルの社会実装を進める東京大学松尾研究室発・AIカンパニーの株式会社ELYZAは27日、商用利用可能な130億パラメータの日本語LLM「ELYZA-japanese-Llama-2-13b」を開発し、一般公開を開始した。

　ELYZA-japanese-Llama-2-13bは、2023年8月に公開した「ELYZA-japanese-Llama-2-7b」と同様に、Meta Platforms（以下、Meta）が開発した英語の言語能力に優れた大規模言語モデル（以下LLM）である「Llama 2」に対し、日本語による追加事前学習と、ELYZA独自の事後学習を行ったモデルとなる。

　同モデルは、パラメータ数が130億に増加したことに加え、事後学習に使用するデータをさらに増強したことで、前モデルを上回る性能を実現している。また、ELYZAが公開している日本語ベンチマークであるELYZA Tasks 100を用いたブラインドテストでは、130億パラメータモデルにも関わらず、既存のオープンな700億パラメータモデルをも上回る結果となっているという。

700億モデルを含むオープンな日本語モデルの中で最高性能

　ライセンスは、Llama 2 Community License に準拠しており、Acceptable Use Policyに従う限りにおいては、研究および商業目的での利用が可能となっている。

　また、チャット形式のデモについても、Hugging Face hub上で公開している。デモを公開するにあたり、vLLMというライブラリを用いて推論の高速化を実施したが、高速化が体験に与える恩恵は当初想定よりも大きく、その効果を最大限体感してもらうため、A100 GPUを使用したデモ提供を決めたという。

　ELYZAでは、今回のモデル学習は、AI橋渡しクラウド（ABCI：AI Bridging Cloud Infrastructure）を利用して実施しており、引き続き700億モデルの開発も進行中だと説明。さらに、Llama 2での取り組みに限らず、海外のオープンなモデルの日本語化や、独自のLLMの開発に継続して投資をしていくとしている。