デロイト トーマツ、「特化型LLM」の開発サービスを提供　複数のLLM検証を基に最適なファインチューニングを実施

　デロイト トーマツ コンサルティング合同会社（以下、デロイト トーマツ）は4日、大規模言語モデル（LLM）に、個別の企業や特定ドメイン（事業活動領域）特有の語彙（ごい）・文脈、ニュアンスを学習させるファインチューニングを行ってカスタマイズする、「特化型LLM」の開発サービスを提供開始すると発表した。

　広く普及するChatGPT等の汎用LLMは、インターネット上の公開文章などで訓練されており、一般的な言語パターンを理解しているが、それゆえに、個々の業務・事業への理解が深いとは言えず、企業における適用範囲が限定的になったり、専門用語への理解が不可欠な金融や医療などの業界での導入が進んでいなかったりするという。また、プライバシーやデータセキュリティの観点から、クラウド提供型の汎用LLMの利用が困難な業種・業界もあるとのこと。

　そこでデロイト トーマツでは今回、顧客環境でのオンプレミス運用可能な特化型LLMを提供することで、企業のLLMの活用を促進するとした。開発にあたっては、複数ベンダーの有力LLMを検証しながら、クライアントニーズに最適な特化型LLMの開発を行う。

　なおデロイト トーマツでは、ベースとなるLLMについて、クローズドモデルだけでなくオープンモデルも含めて、パラメーター数やバージョンによる違いを比較・検証することで、ノウハウを蓄積しているほか、ファインチューニングについても、LLM自体のウェイトを書き換えるフルファインチューニングと、メモリの消費量を抑えながら効率的に学習するPEFT（Parameter-Efficient Fine Tuning）を比較することにより、最適な手法を見出しているとのこと。

　また、現在主流の生成AIを用いた企業のデータ利活用アプローチであるRAG（Retrieval Augmented Generation）についても、特化型LLMと共にRAGを実装することで、DB検索や回答生成の精度向上を実現するとした。

　なお同社では、すでに汎用LLMとRAGを実装している企業に対しても、特化型LLMとの使い分けや組み合わせによって、企業のニーズに最適なシステムを提案、構築することが可能としている。