ニュース

三菱電機、AIの動作を短時間で漏れなく検証する網羅検証の技術を開発

AIの通常の性能評価と網羅検証の比較

 三菱電機株式会社は26日、決定木アンサンブルモデルを対象とした「AIの動作を短時間で漏れなく検証する技術」を開発したと発表した。同技術は、三菱電機のAI技術「Maisart(マイサート)」の開発成果で、AIが期待に反する動作(誤動作)を行うリスクを低減する。

 三菱電機では、AIの信頼性評価は通常、AIモデルの学習に用いていない有限個のテストデータで正解率などの指標を評価するが、仮にテストを実施した際の正解率が100%であっても、テストしていないデータでの誤動作リスクを排除できないという問題があったと説明。この問題に対しては、AIに期待する動作をあらかじめ設定して、期待どおりに動作しているかを厳密に漏れなく検証する、網羅検証の手法が提案されているが、AIモデルのサイズが大きいと検証に膨大な時間がかかることや、誤動作リスクの大きさが不明で対処の優先度を判断しづらいことなどを理由に、網羅検証を実施するケースは限定的となっていたという。

 こうした網羅検証における問題を解決する技術として、三菱電機では数値データの予測などに広く用いられる決定木アンサンブルモデルに対して、効率的に網羅検証を行う新たなアルゴリズムを開発した。これにより、AIが期待どおりに動作しているかを、厳密に漏れなく検証できる。AIに入力するデータの範囲を再帰的に分割して検証することで、網羅検証における従来の手法と比べて、数十から数百倍高速に検証できることを確認したという。

 さらに、この技術を用いた、対話的な検証ツールも開発。ブラウザーベースのGUIを介して、ユーザーが直感的な操作で網羅検証を実施できるツールで、学習済みのAIモデルを読み込み、AIに期待する動作を設定することで、ワンクリックで検証を実行できる。

 検証結果は、合否の割合を表示することで、AI開発者が誤動作リスクの大きさを把握できる。誤動作の発生条件ごとの発生率を、色の濃淡で表したリスクマップとして図示することで、AI開発者の誤動作リスクへの適切な対処を支援する。

 これらの技術により、AI開発者は網羅検証のサイクルを高速で循環させられるため、AIの誤動作リスクを低減でき、AIの信頼性を向上して、安心してAIを利用できる社会の実現に貢献するとしている。

 三菱電機では、2025年度以降、社内外で開発するAIを対象に実証を進めていく。また、AIの標準化活動とも連携し、開発技術を広く社会に還元していくことで、安心してAIを利用できる社会の実現を目指すとしている。

開発した技術を用いた網羅検証のサイクル