NEC、映像認識AIとLLMにより動画から説明文章を自動生成する技術を開発

　日本電気株式会社（以下、NEC）は5日、生成AIを支える大規模言語モデル（LLM：Large Language Model）と、映像認識AIを組み合わせ、長時間の動画から利用者の目的に応じた短縮動画と説明文章を自動生成する技術を、世界で初めて開発したと発表した。

　開発した技術は、映像認識AIとLLMを組み合わせることで、動画の各シーンを理解することが可能となった。具体的には、100以上の映像認識AIを活用し、シーンを構成する人物、車、建物、動物、樹木などの自然物、天気などのさまざまな物体や環境と、それらの変化を個別に認識する。その認識結果だけをLLMで分析することで、動画全体を分析する場合と比較して、利用者が求めるシーンを効率的に見つけ出すことができ、目視による動画の繰り返し確認が不要となる。

開発した技術のデモ画面

　生成文章の品質を向上させるために、対象分野のサンプル映像を使ってLLMを事前にファインチューニングする。例えば、ドライブレコーダーの動画に適用する場合、事前に道路交通関係の動画を分析する。これにより、LLMが専門知識を備え、動画内で起きた出来事を正しく理解できるようになる。その結果、生成AIの正確性の課題であるハルシネーション（生成AIが誤った情報をもっともらしい形式で出力してしまう現象）に対応しながら、信頼性の高い報告書を作成できるようになる。

　1時間以上の動画から、目的のシーンの動画と説明文章を数秒間で作成可能。そのために、NECが開発したコンパクトで高性能なLLMと、高速なデータ検索システムを活用した。

　NECでは開発した技術を、ドライブレコーダーの動画から事故調査報告書を作成するユースケースに適用し、検証を行った。検証の結果、従来は人手で行っていた事故および事故原因となったシーンの探索や、報告書案の作成を自動化し、報告書作成にかかる時間を半減できることを確認した。

　NECは、開発した技術の試用版を、損害保険会社や自動車メーカーなどに2024年3月に提供開始し、ドライブレコーダーの動画を活用した事故報告書などの資料作成を支援する。また、今後は同技術を、看護・介護記録の作成支援、製造・建設現場での作業記録の作成支援、自動運転用AIに学習させる事故シーンの収集と説明文の作成、放送映像向け特定コンテンツの収集とナレーション原稿の作成など、さまざまなユースケースに展開する予定としている。