ニュース

NTT、問い合わせ対応の判断プロセスを見える化するAI技術を開発

 NTT株式会社は1日、セキュリティ事故の対応やコールセンター業務などの問い合わせ履歴をLLM(大規模言語モデル)で分析し、熟練者の判断プロセスを約9割の精度で見える化するAI技術を開発したと発表した。

 NTT社会情報研究所 社会イノベーション研究プロジェクトの山中友貴氏は、今回の研究の背景について、「熟練者が問い合わせに対応する際は、暗黙的な判断プロセスがあるはずだ。例えば、旅行代理店の熟練対応者は『子どもと旅行に行きたい』との問い合わせに対し、『子ども用のベッドが必要になるかもしれない』と考え、『お子様用のベッドは必要ですか?』と確認する。この判断プロセスを見える化したいと考えた」と語る。

研究の目的と背景
NTT社会情報研究所 社会イノベーション研究プロジェクト 山中友貴氏

 判断プロセスは、フローチャートで見える化するという。山中氏はフローチャートを使う理由として、解釈性が高く人間によるチェックが容易なことや、多少誤ったフローチャートが生成されても修正が簡単なこと、新人への業務ノウハウの継承に活用できることなどを挙げる。また、フローチャートをLLMに与えることで、自動で問い合わせ対応ができるシステムが作れるほか、ファインチューンやRAGよりLLMの方が応答根拠が明確で、安心して自動応対システムに任せられることなどもその理由だとしている。

 具体的な手法は、まずステップ1として、問い合わせ履歴から熟練者の質問と提案を抽出してIDを付与する。その後ステップ2として、抽出した質問や提案に基づいて問い合わせ履歴をフローに構造化し、ステップ3で構造化した問い合わせフローをフローチャートに集約するという。

 ステップ1の抽出段階では、問い合わせ履歴から質問のみを抽出し、同じ意味の質問をマージする。この処理で、問い合わせ履歴ごとの表現の揺らぎを吸収する。解決策の提案についても同様の処理を行う。

ステップ1:質問と提案の抽出

 ステップ2の履歴構造化では、1つの履歴に対し、ステップ1で生成した質問リストと提案リストを参照して、どのような問い合わせのフローをたどったかを構造化する。

ステップ2:問い合わせ履歴の構造化

 ステップ3のフローチャート構築では、ステップ2で得た構造化フローにおいて、それぞれの「質問・提案」から次の「質問・提案」への遷移を1つのステップとして出現回数をカウント、統計的処理によって出現回数の多いものが上位になるようツリー構造に変換する。

ステップ3:フローチャートの構築

 この技術の実験には、FloDialという公開データセットを利用した。FloDialは、フローチャートとそれに基づいた応対者とユーザーの対話がセットになったもの。山中氏は、「今回の手法で生成したフローチャートにより、正解フローチャートに含まれる問い合わせフローを約9割再現できることを確認した」と話す。

 その評価方法としては、フローチャートから問い合わせフローを抽出し、正解フローチャートに含まれるすべての問い合わせフローのうち、今回の手法で生成したフローチャートに含まれる割合を調査した。その結果、平均91.8%のフローを含んだフローチャートを生成できることがわかったという。

実験の詳細:評価の方法

 「この技術により、新人でも問い合わせ対応時に生成したフローチャートを見ながら熟練者レベルの対応ができる」と山中氏。FloDialによる理想的な問い合わせ履歴を用いた方式の確認ができたため、今後は実際の問い合わせ履歴を使うことで、情報の欠落や対話の飛躍がある場合でも利用できるよう精度を向上させるとともに、この技術で抽出した熟練者の判断プロセスをAIに取り込むことで、業務ノウハウに基づく自動応答を実現し、問い合わせ対応の品質向上と効率化を目指すとしている。

 同技術の実用化に向けては、「本年度中には実用に耐えうるようにし、次年度以降実装していきたい」(山中氏)としている。