ニュース
ELYZA、商用利用可能な130億パラメータの日本語LLMを一般公開
2023年12月28日 09:00
大規模言語モデルの社会実装を進める東京大学松尾研究室発・AIカンパニーの株式会社ELYZAは27日、商用利用可能な130億パラメータの日本語LLM「ELYZA-japanese-Llama-2-13b」を開発し、一般公開を開始した。
ELYZA-japanese-Llama-2-13bは、2023年8月に公開した「ELYZA-japanese-Llama-2-7b」と同様に、Meta Platforms(以下、Meta)が開発した英語の言語能力に優れた大規模言語モデル(以下LLM)である「Llama 2」に対し、日本語による追加事前学習と、ELYZA独自の事後学習を行ったモデルとなる。
同モデルは、パラメータ数が130億に増加したことに加え、事後学習に使用するデータをさらに増強したことで、前モデルを上回る性能を実現している。また、ELYZAが公開している日本語ベンチマークであるELYZA Tasks 100を用いたブラインドテストでは、130億パラメータモデルにも関わらず、既存のオープンな700億パラメータモデルをも上回る結果となっているという。
ライセンスは、Llama 2 Community License に準拠しており、Acceptable Use Policyに従う限りにおいては、研究および商業目的での利用が可能となっている。
また、チャット形式のデモについても、Hugging Face hub上で公開している。デモを公開するにあたり、vLLMというライブラリを用いて推論の高速化を実施したが、高速化が体験に与える恩恵は当初想定よりも大きく、その効果を最大限体感してもらうため、A100 GPUを使用したデモ提供を決めたという。
ELYZAでは、今回のモデル学習は、AI橋渡しクラウド(ABCI:AI Bridging Cloud Infrastructure)を利用して実施しており、引き続き700億モデルの開発も進行中だと説明。さらに、Llama 2での取り組みに限らず、海外のオープンなモデルの日本語化や、独自のLLMの開発に継続して投資をしていくとしている。