ニュース

NEC、汎用カメラ映像から高精細3Dモデルを高速生成する新技術を開発

インフラ設備・建設現場の人材不足解消や業務効率化を支援

 日本電気株式会社(以下、NEC)は14日、世界で初めて、スマートフォンなどに搭載された汎用カメラで撮影した映像のみから、独自AIによって不要な被写体を自動除去し、高精細な3Dモデルを最短約1分で高速生成する技術を開発したと発表した。同日には、新技術を開発した背景や新技術の特長についてメディア向け説明会を開催した。

 今回の新技術は、NEC サイバーフィジカルインテリジェンス研究所が開発を手がけたもので、慶應AIセンターとの共同研究の成果となる。同研究所 所長の宮野博義氏は、「当研究所では、AIの実世界への適用によって社会を変革することを目指している。その中で、人と機械が混在する現場のエリア全体を最適化する技術領域、および都市などの広域エリアを網羅的に把握・対処する技術領域で強みを持っている。今回の新技術は、現場を最適化する技術領域に関わるもので、リアルな現場の状況をタイムリーにデジタル空間上に再現するために重要な3Dモデル生成の基盤を担う技術になる」と、新技術の位置づけについて述べた。

NEC サイバーフィジカルインテリジェンス研究所 所長の宮野博義氏

 新技術では、高価な専用機材を用いることなく、電力などのインフラ設備や建設現場など、変化の多い環境で、現場の稼働を止めずに、現場状況を精緻に再現した3Dモデルを高速に生成できる。また、生成した3Dモデルは、一般的なパソコンやタブレットでも手軽に閲覧できるため、現場状況を即時に把握できる。これによって、リモートでの設備点検や異常時の迅速な判断が可能になるという。

NECの新技術と従来技術の比較

 同研究所 主任研究員の馬場崎康敬氏は、新技術を開発した背景について、「近年、インフラ事業者や製造業では、現場で活動する熟練者の不足が深刻化しており、これを補うため、遠隔からの管理・現場指導に向けた現場でのデジタルツイン活用ニーズが強まっている。そして、デジタルツインの実現手法の一つとして、確認したい箇所を自由な視点で見られる3Dモデルの活用が期待されている。一方で、現場の3Dモデル化には、高価な専用機材の準備や、現場の稼働を中断しての撮影、さらに撮影後の3Dモデル生成にも時間を要するなど負担が大きく、実用化の障壁となっていた。そこで今回、こうした課題を解決するべく、高精細な3Dモデルを高速生成する新技術を開発した」と説明した。

NEC サイバーフィジカルインテリジェンス研究所 主任研究員の馬場崎康敬氏

 新技術の大きな特長としては、「3Dモデルの高速生成」と「不要な被写体の自動除去」の2点を挙げた。

 「近年、3Dモデルの表現手法として、映画やアニメの背景生成にも応用が進んでいる3Dガウシアン・スプラッティング(以下、3DGS)が注目を集めている。3DGSは、3Dを広がりや色を持つ粒の集まりとして表現する手法で、汎用カメラからでも高精細かつ軽量な3Dモデルを作成できる。しかし、従来の3DGSは、高速生成が難しいことに加え、稼働中の現場では不要物が映り込むため、そのままでは3Dモデルの構築が困難だった。今回開発した新技術では、3DGSに当社独自のAI技術を統合することで、現場の稼働を止めずに高精細3Dモデルの高速生成を実現した」としている。

NECが開発した新技術の特長

 具体的には、「3Dモデルの高速生成」では、スマートフォンなどの汎用カメラで撮影した現場映像内の見た目の複雑さを自動で解析。見た目が複雑な部分には、3Dモデルを構成する粒を高密度に配置し、見た目が単調な部分は間引くことで、粒の数や密度を最適化する。これによって、必要な部分は高精細に、ほかは簡素化し、精細さを保ちつつ計算コストを削減。従来の3DGSの生成方法に比べて、生成時間を10分の1に短縮し、最短1分ほどで高速生成することが可能となる。

「3Dモデルの高速生成」の技術概要

 「不要な被写体の自動除去」では、3Dモデル生成の過程で、現場映像に映り込んだ作業員や一時的な物体などを自動で検出・除去する。さらに、現場の状況変化に応じて、除去部分は周囲映像から背景を補完するため、稼働中の現場であっても不要物を除いた現場の状態を精緻に3Dモデル化できる。

「不要な被写体の自動除去」の技術概要

 さらに、生成した3Dモデルは、専用機材を用いずに、一般的なパソコンやタブレットで閲覧できるため、現場状況を遠隔からリアルタイムに把握できるようになる。例えば、製造現場では、リモートからの設備点検や異常時の迅速な判断に加え、限られた人材の最適配置が可能となる。また、建設現場では、施工進捗確認の遠隔化によって、管理者の業務効率化を図れるとした。

 同社では、新技術を2027年度中に実用化することを目指しており、インフラ事業者や建設業などを中心に、デジタルツインの導入を進め、人材不足の解消、業務変革、設備の安全性向上に貢献していく考えだ。