ニュース

富士通研究所、こまやかな表情変化を高精度に検出するAI表情認識技術を開発

 株式会社富士通研究所とFujitsu Laboratories of America(以下、米国富士通研究所)は15日、カーネギーメロン大学コンピューターサイエンス学部と共同で、こまやかな表情の変化を高精度に検出するAI表情認識技術を開発したと発表した。

 人の感情を高度に推定するには、納得や戸惑い、ストレスなど、こまやかな表情変化を捉えることが重要となり、近年ではこうしたこまやかな表情変化を扱うために、解剖学的知見に基づき、顔面の各筋肉に対応づいた動きの単位として定義されたAction unit(以下、AU)の活用が進み、心理学研究やアニメーションの生成などさまざまな分野で利用されている。

 AUは、眉が下がる・頬が上がるといった顔面の各筋肉の動きに基づいて約30種に分類され、これらのAUを組み合わせることで、喜怒哀楽に加えて、こまやかな表情変化も捉えることができる。一般的に、AUの検出にはディープラーニングが使われるため、ディープラーニングのための大規模な学習データの準備が必要となるが、特に実際の環境では、さまざまな角度・大きさ・位置の顔がカメラで撮影されるため、それぞれに対応した大規模な学習データを準備することが難しく、結果として十分な検出精度を実現するのが困難だった。

AUと表情の関係原理図

 こうした課題に対して、富士通研究所と米国富士通研究所は、カーネギーメロン大学コンピューターサイエンス学部との共同研究で、AUごとに最適化された画像変換を用いて、小規模な学習データでも高精度にAUを検出するAI表情認識技術を開発した。

 開発した技術では、さまざまな角度・大きさ・位置で撮影された顔の画像に対して、顔を正面から撮影した基準の画像に見え方が近づくように、回転や拡大・縮小、平行移動などの変換処理を行う。これにより、大規模にそれぞれの顔の角度などに対応した学習データを準備することなく、小規模な学習データでもAUを検出することができる。

 変換処理では、画像における顔の複数の特徴点が、基準となる正面の顔の画像における特徴点の位置に近づくように変換を行うが、特徴点を顔の部位のどこに設定するかによって、回転や拡大・縮小、平行移動の量が変わってくる。たとえば、特徴点を目の周辺と設定して回転処理を実行すると、目の周辺は基準の顔の画像に近い位置となるが、口などの部位は基準の顔の画像とずれた位置になる。

 そのため、撮影された顔の画像から、AU検出に影響の大きな領域を分析し、その領域周辺の特徴点が、基準の顔の画像の特徴点の位置に近づくように、回転や拡大・縮小、平行移動の量を調整する。基準の顔の画像の見え方に近づける変換処理を、AUごとに調整することで、高精度にAUを検出する。

開発した技術

 今回開発した技術は、表情データセットFERA2017(Facial Expression Recognition and Analysis Challenge 2017)に対して、81%と高い検出精度を実現。また、FERA2017のベンチマーク指標による比較でも、開発技術が最先端の既存研究よりも高い精度であることを確認した。

 富士通研究所と米国富士通研究所では今後、遠隔会議支援や社員のエンゲージメント測定、ドライバーの運転の様子の見守りなど、さまざまな利用シーンでの実用化を目指すとしている。