ニュース

富士通研、PCやタブレットのカメラでより複雑な操作が行える3次元ジェスチャー認識技術

 株式会社富士通研究所と富士通研究開発中心有限公司は、PCやタブレットなどに搭載された1台(単眼)のカメラで撮影した映像から、上下・左右方向の手の動きだけでなく奥行き方向の手の動きも検知する3次元ハンドジェスチャー認識技術を開発した。

 従来のハンドジェスチャー認識技術では、マウスのカーソル移動に相当する上下・左右方向の手の動きは検知できたが、クリック操作に相当する、手を前に押し出す動きの検知は困難だった。富士通研らは今回、手のひらモデルをもとに正確かつ高速に手の領域を検出する技術と、手の奥行き方向の動き検知技術を開発。これにより、直感的な動作である「押す」ジェスチャーによるクリック操作を実現した。

 具体的には、開発した技術を使うことで、PCから離れた場所でも、端末のメニュー選択を上下の手振り操作で行い、メニューの決定を「押す」操作で行ったり、地図などの画面の拡大・縮小を「押す」「引く」の操作で実現できるなど、ハンドジェスチャーでより複雑な操作が可能になるという。

今回開発した技術による奥行き方向を用いた操作

 開発の背景について富士通では、PCやタブレット端末から人が離れている場合や、手が濡れていたり汚れていたりする場合、衛生面から不特定多数の人が触る端末に直接触れたくない場合などに、カメラで検知した手の動きにより端末を操作する方式が一般的に用いられているが、これまではカーソル移動に相当する上下・左右方向の手の動きは検知できたが、クリック操作に相当する奥行き方向の動きの検知は困難だったと説明している。

 これまでも距離を測る距離センサーを用いたり、複数のカメラを用いることで奥行きを検知することはできたが、装置のコストが高くなるという課題があったという。

 今回開発した技術は、撮影した画像からまず手の検出を行う。画像をあるブロックサイズごとに切り出し、その中にあらかじめ登録してある手の特徴データ(手のひらモデル)が存在するかを算出。ブロックの位置とサイズを変えながら、画像全体に対してこのブロックごとの特徴検出を繰り返し実施することで、手の位置とサイズを特定する。

 次に、手を検出した位置とサイズにおいて、最も手の形を表現するように部分的に色の閾値を変えながら手の領域を抽出。これら操作により、手の領域の安定した検出を実現したという。

従来方式と開発方式との比較。今回開発の方式では、背景との色差が小さい時なども安定して手の領域を検出することが可能

 なお、富士通研らは、本技術の詳細について、5月20日から京都・立命館大学で開催される国際会議「International Conference on Machine Vision Applications(MVA) 2013」にて発表する。

(工藤 ひろえ)