NTT、業務マニュアルの知識をLLMに定着させるための新たなチューニング技術を開発

　NTT株式会社は12日、業務マニュアルの知識をLLMに定着させるための新たなチューニング技術を開発したと発表した。同技術では、LLM自身がLLM向けの学習教材を作成するかのように業務マニュアルから学習データを生成し、それを通して学ぶことで知識を高い精度で定着させる。これにより、特定の業務知識を有した専用のLLMを従来よりも少ない準備で構築できるようになる。

人間が知識をより深く定着させるために多様な教材を通して学ぶように、知識の活用のされ方を想定したさまざまな形式の学習データを生成し、LLMチューニングを実施する

　NTTは開発の背景として、既存のLLMを特定の用途やタスクに合わせて調整するチューニングには、出力の形式を整える、特定タスクの精度を向上させる、といったいくつかの観点があり、目的に応じた手法が用いられると説明する。

　その中でも特に難易度が高いのが、LLMに新たな専門知識を定着させ、業界特有の知識に詳しいモデルを作ることで、例えば、業務マニュアルや専門書の内容をモデルに覚えさせたい場合がこれにあたる。

　知識の付与には、モデル全体を再学習させる手法が一般的だが、これには極めて膨大な量のデータが必要となる。実際の業務現場で、大量の業務マニュアルや資料を用意するのは困難で、インターネット上から類似情報を集めようとしても、業務と無関係な情報が混入しやすく、高品質なデータセットを構築するのは容易ではない。そのため、各社が所有する限られた業務資料のみから、LLMに効率的に知識を定着させるためのチューニング手法が求められているという。

　開発した技術は、顧客問い合わせマニュアルなどの業務知識を記載したドキュメントを活用し、LLMがその内容を深く理解できるように設計されている。LLM自身に業務マニュアルを学ぶための教材（学習データ）を多角的に構築させ、自らの学びに活用させる。業務マニュアルから、仕様書、FAQといった多様な表現形式のデータを生成するなどする。こうして生成されたデータを用いて学習を行うことで、従来よりも高精度にマニュアルに記載された知識を獲得することができるようになった。

　実験では、NTTの実業務マニュアルを与え、その知識の定着度合いを計測した。知識の定着率は、この業務マニュアルに記載範囲内の問題を作り、LLMに解かせて、その正答率を計測した。LLMには、tsuzumi 2とLlama 3（3B）を用いて、それぞれ学習前後の正答率を比較した。

　tsuzumi 2において、学習前（業務マニュアルを与える前）の正答率は65.3％だった。先行研究では最大73.3％まで向上したが、開発した技術を用いることで83.1％と、さらに正答率を向上できた。また、特化モデルは、基本的な性能が低くなりがちな軽量モデルほど実施の必要性が高いことを鑑みて、tsuzumi 2よりも軽量なモデルであるLlama 3（3B）でも評価を行った結果、同様に先行研究よりも優れていることを確認した。

　開発した技術は、NTTグループ各社に導入される予定。チューニング観点は多様なため、さまざまな手法を組み合わせることになるが、その1つの手法となるとしている。また、11月に開催する「NTT R&Dフォーラム2026」で同技術の紹介を行う。