NTT、人間のように自然な対話ができる双方向型音声対話AI技術を開発

　NTT株式会社は26日、相手の発話を聞きながら応答し、相づち、発話待ち、割り込みに対応できる双方向型音声対話AI技術を開発したと発表した。同技術は、業務ごとの指示文に沿って対話を進めるとともに、対話中にデータベースやCRMなどの外部知識を参照しつつ指示に従った発話ができる。研究成果は、11月18日～25日に開催される「NTT R&D FORUM 2026」に展示を予定している。

　実際の顧客応対にAIを活用するためには、単に質問に回答できるだけでなく、人間同士の会話のような自然なやりとりが求められる。例えば、ユーザーの発話を適切に待つ、自然なタイミングで相づちを打つ、ユーザーからの割り込みに応じるなど、会話の流れに合わせた適切なタイミングでの発話が重要となる。

　また、実際の顧客応対業務への活用には、業務や役割に応じたトークフローで会話を進めるとともに、ユーザーの意図や対話の状況を把握し、必要な情報を外部から参照・更新しながら正確に応対することも求められる。

　NTTは、人間同士の会話のようなやり取りである対話の自然性に加え、タスク指示文による対話内容の指定や外部知識の自律参照・更新による対話内容の制御が可能な双方向型音声対話技術の確立に取り組んだ。

　開発では、「対話の自然性」「タスク指示文による対話内容の指定」「外部知識の自律参照・更新」の3点の技術を確立した。対話の自然性は、ユーザーの音声を聞きながら同時に発話できる双方向型音声対話により、自然なタイミングでの応答や相づち、適切な発話待ち、ユーザーからの割り込みへの対応を実現する。人間同士の会話に近い、相手の発話や会話の流れに応じて「話す・聞く・待つ」を柔軟に切り替えることで、テンポのよい自然な音声対話を可能にする。

　タスク指示文による対話内容の指定は、AIに与えるタスク指示文に基づいて、役割や業務内容、応対方法を理解し、それぞれの業務に適した対話を行う。タスク指示文を変更することで、モデルを再学習することなく、予約受付や問い合わせ対応など多様な応対業務に応じたトークフローでの会話を可能にする。また、対話の進行状況やユーザーから得られた情報を把握・出力することで、業務の流れに沿った一貫性のある応対を実現する。

　外部知識の自律参照・更新は、対話の内容やユーザーの意図に応じて、AIが必要な外部機能を自律的に呼び出し、データベースや外部システムの情報を参照・更新する。AIが持つ知識だけに依存せず、最新の商品情報や予約状況、顧客情報などを対話中に活用することで、実際の業務に必要な正確な回答や手続きを可能にする。

　これら3点の技術確立においては、特にAIに学習させる音声対話データの準備が重要となる。NTTが、長年の研究により培ってきた音声強調や音声認識、音声合成などの音声処理技術を活用し、対話音声データの高品質化に取り組むとともに、AIに期待する振る舞いを含んだ疑似音声対話データの生成にも取り組み学習に活用する。これにより、対話タイミングの自然性においてより高品質な音声対話技術を確立した。

　実験では、対話の自然性を構成する要素のうち、人間と対話AIとの対話のテンポ（応答の時間的な特徴）を評価した。具体的には、対話AIの評価において用いられる、平均応答時間、発話待ち成功率（ユーザーが発話中に間を空けた際に、発話の続きを待つことができる割合）、割り込み成功率（対話AIの発話中にユーザーが割り込んだ際に、対話AIが発話を停止できる割合）の3つを評価指標とし、日本語のコールセンター対話を模した400対話を用いて評価した。

　商用対話AIとの比較評価を行った結果、開発した対話AIは平均応答時間0.43秒を達成し、他社サービスと比較して50％以上の短縮を実現した。これは、日本人オペレーターの平均応答速度0.31秒に迫る水準となる。さらに、発話待ち成功率や割り込み成功率においても、他社サービスに匹敵する性能を達成した。これらの結果から、開発した技術に基づく対話AIが、日本語での会話において人間に近い自然なテンポで対話するために必要な性能を備えていることを確認した。

　NTTは、開発した技術は、人手不足が深刻化するコールセンター業務において自動応対の品質向上による顧客体験（CX）の向上と、オペレーターの負荷軽減による運営効率化への貢献が期待されると説明する。この技術を活用することで、自治体や医療機関における窓口案内、ホテルや商業施設での受付・接客、企業内の問い合わせ対応など、人との自然なコミュニケーションが求められる幅広い業務への展開につながるとしている。

　NTTでは今後、応用検討を進めるとともに、さまざまな外部システムとの連携を進めることで、より充実した内容の対話実現に貢献する。また、コールセンターでの実運用を見据え、コールセンター業務への適用可能性を検証するための共同実験を現在計画中としている。