富士通、「行動分析技術Actlyzer」で製造分野のデジタルツインを実現する新技術を開発

　富士通株式会社は18日、人のさまざまな行動を認識するAI「行動分析技術Actlyzer（アクトライザー）」について、設置済みのカメラを含む任意のカメラで撮影した映像から、作業者の行動や装置との関係性を3次元で検出し、シミュレーター上で再現した仮想生産ラインとの対応付けを行う新技術を開発したと発表した。この技術により、人の実際の作業状況とシミュレーションの対応付けを自動化するデジタルツインを実現し、シミュレーション結果と実績との乖離（かいり）の把握や予知保全を支援する。

　開発したActlyzerデジタルツイン連携技術は、カメラごとに異なる焦点距離やレンズのひずみを、画像内の物の向きや線分の情報をもとにAIが自動推定することで、人や装置の位置を正確に検出する。現場に設置したカメラの映像中の1フレームの画像から半自動でカメラキャリブレーションを行い、映像から人の行動を3次元上で判定する。

デジタルツインのイメージ

　開発技術では、まず画像から深層学習ベースでレンズひずみのパラメータを推定し、ひずみのない画像を生成する。次に、画像中の床や壁、天井や置かれた物体に存在する線分を検出し、実世界で平行に存在する線分を推定する。それらの線分を延長して奥行き方向に向かって最終的に交わる消失点をもとに、焦点距離を推定し、さらに深層学習ベースで水平線とカメラの高さ、角度を求める処理も実施する。

　最後に、仮想ラインシミュレーター上の装置で、CADデータの点に対応する画像座標をマウス操作で指定し、画像座標とシミュレーター上の3次元座標の対応付けを行う。

　この技術により、特殊なスキルや経験がなくても、短時間でカメラパラメーターが計測でき、実際の工場での映像データで行った検証では、カメラから約6mの距離にあり、CADデータと位置合わせをした基準点から約2mの距離にある実世界上の点について、誤差2cmの高精度で対応付けが行えることが確認できたという。

　富士通では、開発した技術により、仮想ラインシミュレーター上に人の行動をフィードバックするデジタルツインを簡単かつ高精度に実現すると説明。また、技術を活用したスマート工場における取り組みを、1月25日～27日に東京ビッグサイトで開催される「第7回スマート工場EXPO」の富士通ブースで、体験型のデモンストレーションで紹介する。