ニュース
NTT版LLM「tsuzumi」の商用サービスがスタート、世界トップクラスの日本語性能を実現
2024年3月26日 12:08
NTT版LLM（大規模言語モデル）である「tsuzumi」の商用サービスが、3月25日からスタートした。
軽量モデルである70億パラメータのtsuzumiを、「お客様環境オンプレミス」、「プライベートクラウド」、「パブリッククラウド」の3つの利用環境と、「CXソリューション」、「業界・業務別EXソリューション」、「IT運用サポートソリューション」の3つのソリューションメニューの組み合わせで提供する。
今後、パートナー企業との連携によって、ソリューションメニューを拡大し、2027年にはtsuzumiで売上高1000億円を目指す。ソリューションなどを含めるとさらに規模は拡大するという。
NTT（日本電信電話株式会社）の島田明社長は、「コンサルティング、導入支援、データセンターによる利用環境まで、tsuzumiを活用したトータルソリューションサービスを提供する。軽量LLMであるため、大規模なハードウェア環境の構築が必要なく、事務所内でのオンプレミス利用やNTTグループのデーセンターで稼働するプライベートクラウド、ハイパースケーラーのパブリッククラウドでも利用できるため、用途にあわせて自由に選べる。オンプレミス利用では、企業内データを外部に出さずに安全に学習できる」などとした。
さらに、個々の価値を実現する小型LLMを、IOWNでつなげる「AIコンステレーション」を、パートナーとともに実現する考えを示しながら、「それぞれの小型AIが、IOWNによって連携することで、単体の巨大なAIよりも、専門性と多様性を掛け合わせた価値を創造していくことができる」と、新たなAI活用の提案を進める姿勢もみせた。
また、ソリューションプロバイダーやアプリケーションベンダーが、tsuzumiを活用して新たなサービスの開発や、ソリューションメニューの開発することを支援する「パートナーブログラム」と、tsuzumiなどのAIを利用している顧客同士で、具体的なユースケースなどの情報を共有する「メンバーズフォーラム」を設置する計画も明らかにした。いずれも2024年5月からスタートする。パートナープログラムでは、tsuzumiのAPIの一部無償提供などを行う。
NTTでは、2023年11月に、tsuzumiを発表。その後、国内企業を中心に500社以上からの導入相談があり、ヤマト運輸や富士薬品、ノジマ、東京海上日動、福井県などから相談があったことを明らかにした。業界別では、製造が18％、自治体が14％、金融が12％、ITが11％、サービスが8％などとなっており、幅広い業界から問い合わせがあるとともに、金融や自治体などの機密性が高いデータを取り扱う分野からの問い合わせが多いことを強調した。
用途としては、「CX・顧客対応改善」が31％、「EX・社内業務改善」が32％、「IT／運用自動化」が14％となっている。顧客接点や議事録の自動作成、ソフトウェア開発用途が目立つという。具体的には、「CX・顧客対応改善」では、金融・保険におけるコールセンター業務の効率化、フロント顧客対応の効率化、生保販売用バーチャルコンシェルジュでの活用のほか、運輸における荷物のイレギュラー対応、製薬におけるバーチャルヒューマン対応などがある。「EX・社内業務改善」では自治体における議会の議事録作成および要約などでの活用があるという。
また、導入相談のうち、63％が「個人情報や機密性の高いデータを、お客さまの環境でクローズドに、セキュアに学習させたい」というものであり、カスタマイズしたLLMを活用したい、オンプレミスの自社環境で自社に特化したLLMを構築したいという要望があるという。
tsuzumiの4つの特徴
NTTの島田社長は、tsuzumiの特徴として4点を挙げた。
GPT-3の25分の1のサイズにとどまる70億パラメータの「軽量」、RakudaベンチマークでGPT-3.5を上回り、同規模の国産LLMを大きく上回る性能を発揮する世界トップクラスの日本語性能を実現した「高い言語性能」、機密性の高いデータの学習や、企業特化、および業界特化、タスク特化などのカスタマイズやチューニングを低コストで実現する「高カスタマイズ性」、言語に加えて、図表読解などのさまざまな形式にも対応した「マルチモーダル性」である。
NTTの島田社長は、「軽量であることから、クローズドデータを、お客さま環境でセキュアに活用することができる。また、日本語性能の高さだけでなく、英語でもmetaのLlama-2-7Bと同程度の性能を発揮している。さらに、業界や組織のデータに基づくカスタマイズや、頻繁に情報を追加することもできる。そして、PowerPointの資料や図表、グラフ、商品説明が書かれたマニュアル類などの学習性能も、GPT-3.5やGPT-4をしのぐ精度になっている」と胸を張った。
特に、日本語性能は、2023年11月の発表時点よりもさらに向上しており、GPT-3.5に対するベンチマークでの勝率は81.3％となり、約4カ月間で約30％ポイントも上昇。国産LLMの性能も大きく上回っていることを強調した。また、視覚読解性能でも高い性能を発揮し、その性能は、AAAIをはじめとする複数の難関国際会議に採録されているという。
なお、tsuzumiの名称の由来となった邦楽器の「鼓」との共通点についても言及。NTTの島田社長は、「鼓は小さいながら、調べ緒によりさまざまな音が出せる。また、見た目が美しく、演奏時の所作が美しい。伝統芸能の要となる楽器である。一方、tsuzumiは、国産LLMとして小型軽量であり、性能が高い。また柔軟なチューニングができるという特徴を持つ」と述べた。
「CXソリューション」など3つのソリューションメニューを提供
3つのソリューションメニューの特徴についても説明した。
CXソリューションは、tsuzumiの相談案件として最も多かったコンタクトセンターでのオペレーター支援での用途のほか、バックヤード業務活用、デジタルヒューマン接客などでの利用を想定している。
コンタクトセンターのオペレーター業務支援では、リアルタイム検索や自動要約、情報抽出によって、顧客の通話待ち時間の削減や応対品質の向上を実現。東京海上日動では1万人のオペレーターが利用し、年間40万時間削減を目指しているという。
またバーチャルコンシェルジュでは、モーション生成AIなどを活用したデジタルヒューマンと、生成AIによる高度な自動応答によって、相談内容にあわせた回答や、相手の表情を判断した適切な回答が行えるとのこと。
富士薬品では、デジタルヒューマンを活用した未来型小売モデルの実証に取り組んでおり、顧客のカウンセリングデータやヒアリングテータをもとに、生成AIで自社商品を提案したり、必要に応じて専門家に引き継いだりといったことを行うという。
NTT 常務執行役員 研究開発マーケティング本部長の大西佐知子氏は、「バーチャルコンシェルジュは、さまざまな企業や店舗での応対や、オンラインでの応対もできる」とした。
「業界・業務別EXソリューション」は、業務マニュアルや製品検索、議事録作成および要約、レポート作成、申請書類作成などの用途で活用できる。
行政サービスでは、行政業務の情報を学習した業務特化型LLMを活用して、行政窓口の業務プロセスに沿ったサービスを提供。福井県では、県民サービスの向上に向けて、tsuzumiを利用したPoCを実施。行政業務の情報を学習した業務特化型生成AIにより、県民からの問い合わせに対応し、行政業務の効率化につなげられるかどうかの評価検証を行っているという。
また、千葉大学医学部附属病院では、医療におけるインフォームドコンセント活用に向けた実証を開始。医師が患者へ説明する際の準備を支援。説明資料や説明動画を生成しているという。
そのほか、雑談や相談に対応した生保販売用デジタルコンシェルジュ、患者ごとの治療計画策定の支援、自動車販売のパーソナライズ提案といったユースケースを挙げており、「自治体が持つ機密性の高いデータも扱うことができたり、医療の専門知識を学習させたりできる。EXソリューションでは、業務プロセスに適したプロンプトと業界特化LLM、機密性の高い社内ドキュメントなどを活用して、企業や自治体の生産性を向上し、EX向上を支援できる」（NTTの大西常務執行役員）と述べた。
また、「IT運用サポートソリューション」は、社内ITヘルプデスクにおける問い合わせ対応や、IT運用自動化サポートなどに適用できるという。
例えば、サイバーセキュリティにおいては、tsuzumiのセキュリティ運用特化LLMと、顧客が持つ固有情報を活用したAIアドバイザー、SIEMやSOAR、XDRといった自動化ソリューションを連携。企業のセキュリティ運用の負担を低減し、95％の人手での作業を削減できたケースもあるとした。
パートナープログラムを展開
一方、パートナープログラムは、生成AIを導入するサービスを保有および開発する企業を対象に、tsuzumiをサービスに組み込むことを支援する「ソリューションパートナー」、特定業界のデータを持つ企業や業界の課題を熟知する企業とともに、業界・業務特化モデルの共同開発を行う「モデルパートナー」、コンサルティングから構築までが行える企業や、地域顧客とリレーションがある企業などを対象に、tsuzumiを用いたインテグレーション支援を行う「インテグレーションパートナー」で構成。検証環境の提供や、ファインチューンなどの技術サポート、パートナー間の情報共有や共創支援を行う。
また、メンバーズフォーラムは、tsuzumiなどのAIを利用している顧客を対象に展開するもので、具体的なユースケースをメンバー間だけで共有する会員制Webサイトを用意。事例紹介やネットワーキングの場として活用できるコミュニティプログラムを、NTTコミュニケーションズの OPENHUBなどを利用して提供する。
さらに、tsuzumi を活用したスキル育成やDX支援を通じた地域創生にも取り組む考えであり、tsuzumi の活用などによる「DXスキル向上プログラム」の提供、tsuzumi を用いた「DX実践支援コーチングAI」の提供、DX実践を通じた tsuzumi の社会実装を段階的に進める。まずは、2024年夏から、能登地域の支援活動のひとつとして開始する予定だ。
tsuzumiのグローバル展開についても触れ、業界・業種特化型のLLMを、多言語対応するほか、NTTグループが持つアセットに組み込んで提供。NTT Ltd.が持つ安心安全に運用できるデータセンターのケイパビリティを活用して、tsuzumiを搭載したGPUリソースサービスをグローバルに提供することも明らかにした。「グローバルのさまざまな業界、業種のユーザーが、安心安全にtsuzumiを利用できる環境を整える」（NTTの大西常務執行役員）と述べた。