ニュース
雨や霧などを除去し屋外での画像認識精度を上げる“悪天候除去”AI、パナソニックHDらが共同開発
1つのモデルだけ、かつ従来の1/3のパラメータ数での除去を実現
2024年2月21日 14:34
パナソニック ホールディングス株式会社（パナソニックHD）は16日、画像認識精度を著しく低下させる雨や雪、霧などを画像から除去することで、画像認識精度を向上させる悪天候除去AIを、カリフォルニア大学 バークレー校（以下、UC Berkeley）、南京大学、北京大学の研究者らと共同開発したと発表した。
全天候で利用できる実用的なAIを実現するために、昨今、雨や雪、霧などを画像から除去するタスク「悪天候除去（Weather Removal）」が注目を集めており、これまでは、天候の種類に応じて異なるモデルを準備したり、全天候で利用できるようモデルを統合したりする手法が提案されてきたが、計算量の多さがネックとなっていたという。
そこで今回の研究チームでは、異なる天候のパラメータを重みで表現することで、少ないパラメータ数で高精度に天候の影響を除去し、1つのモデルで、複数種類の天候とタスクに対応できる技術「MoFME（Mixture-of-Feature-Modulation-Experts）」を開発した。
MoFMEでは、従来、天候やタスクに応じて複数のエキスパートモデルを用意する必要があった画像認識やセグメンテーションなどのタスクを、1つのアンサンブルモデルにより実用的な計算量で実現するため、2つの新しい手法を導入しているのが特徴という。
1つ目は、複数のエキスパートモデルのパラメータを線形変換の重みで表現する「特徴変調エキスパート（Feature Modulated Expert）」手法。異なるエキスパートモデルのパラメータを個別に学習するのではなく、特定のエキスパートモデルの線形変調により表現することで、総パラメータ数と計算量を削減している。
2つ目は、入力画像の特徴に応じて、各エキスパートモデルの寄与度を切り替える「不確実性を考慮したルーター（Uncertainty-aware Router）」手法。各エキスパートモデルは、それぞれ得意とする天候が異なるため、あるエキスパートモデルが、天候除去結果にあまり自信がない（不確実性が高い）場合は、そのモデルの寄与度を下げ、逆の場合は寄与度を上げるよう最適化することで、アンサンブルモデルの信頼性を高め、画像認識性能を向上させた。
こうした手法により、MoFMEでは、画像認識精度を低下させる雨や雪、霧を1つのアンサンブルモデルで、かつ従来の1/3のパラメータ数で除去できるとのことで、車載センサーにおける危険検知やセキュリティカメラなど、全天候で高精度な画像認識が必要とされる場面での活用が期待できるとしている。
