富士通研究所、現場作業者のカメラで生成した3次元画像とARにより遠隔指示を行える作業支援技術を開発

　株式会社富士通研究所は17日、保守点検などの現場において、作業者側のカメラで撮影した時系列画像から、現場の全景が分かる3次元パノラマ合成画面を生成し、AR技術と組み合わせて遠隔支援者が作業者に指示を行える作業支援技術を開発したと発表した。

3次元パノラマ合成技術を用いた遠隔作業支援システム

　開発した技術は、作業者側のカメラ画像から作業者の位置や向きを推定することにより、複数枚の画像を立体的に配置した3次元画像を生成する。これにより、遠隔支援者は現場の様子を任意の視点から把握し、作業者の位置と向きに連動したAR情報として、現場の作業者に的確に指示できる。

　3次元画像の生成にあたっては、現場のカメラの画像から、複数の画像特徴点を抽出することでカメラの位置と向きをリアルタイムに追跡し、作業員の位置と向きを継続的に推定。ブレのない映像を選択し、3次元の位置および向きの情報と一緒に遠隔支援者へ送信する。遠隔支援者側では、カメラのパラメーターとなる焦点距離および画像の中心にあわせて3次元空間上に画像をリアルタイムに配置し、カメラと環境特徴点との距離も加味して画像のサイズを調整する。選別された画像を順次3次元空間上に配置することにより、3次元画像として広範囲に渡る作業現場の全景を即座に精度よく表現する。

リアルタイム3次元パノラマ合成

　生成した3次元画像に対しては、作業員を3次元モデルとして仮想的に描画することができ、遠隔支援者は自分の好きな視点から作業員の行動を把握できる。また、遠隔支援者が3次元画像に対してポインターや注釈の形で指示を行うことができ、指示は即座に作業員のスマートデバイスなどに伝達され、作業員の位置と向きにあわせたリアルタイムなAR情報として提示できる。さらに、そのAR情報が作業員の視野外にある場合はそこまで作業員を誘導することができ、遠隔からの効果的な支援を実現できる。

位置認識による作業員の行動把握と作業指示のリアルタイムAR指示・誘導

　富士通研究所では、開発した技術を用いることで、遠隔支援者から作業者への的確な指示が可能となり、経験不足の作業者でも作業範囲を拡大でき、現場作業が難しくなった熟練者のスキルを有効活用することで、人材活用の自由度が向上すると説明。今後、技術を実際の設備点検やメンテナンス現場で検証し、2016年度中の実用化を目指すとしている。