パナソニック コネクト、光沢などのノイズがあっても動く対象物を1ミリ秒以下で検出するセンシング技術を開発

　パナソニック コネクト株式会社は30日、現場で動く対象物を、光沢などのノイズがあっても、高精度かつ1ミリ秒以下にカメラで検出することにより、物流や製造現場のロボットによる作業を止めずに高効率化するセンシング技術を開発したと発表した。

　パナソニック コネクトでは、近年の人手不足により、物流や製造の現場ではロボット導入が進んでおり、これまでの規定の動作を自動で止まらずに行うロボットに加え、近年ではカメラを利用して対象物を見て検出することで、現場に即した動作が行えるロボットのニーズが高まっていると説明。ただし、動く対象物を検出してロボットの動作に反映するためには、画像検出からフィードバックまでにかかる時間を超低遅延で行う必要があり、それに付随したさまざまな課題があるという。

　通常、指定対象物を検出するには、事前に登録した画像を比較対象として用意し、動かした際にカメラで撮影した対象物の画像が、登録画像と一致するかどうかで検出する。しかし、照明の影響により、対象物の表面に光沢などのノイズが生じ、登録画像と異なる画像と認識されるために、指定対象物を検出できないといった問題が発生する。

　これを解決するには、照明の環境を整えたり、AIなどの高度な画像処理を行い、光沢の抑制を行うなどの方法がある。しかし、照明環境の場合にはコストが増加し、AIなどの高度な画像処理を使用する場合には処理時間が膨大になるといった課題がある。また、AIなどの高度な画像処理を利用し、時間をかけて光沢の抑制を行ったとしても、特定対象物が止まっている場合は登録画像と一致させることができても、動いている特定対象物の場合には、計算時間中に対象物が移動してしまい、撮影時とロボット動作時で対象物の位置が異なることから、必要な処理ができないといった結果になりがちだという。

　こうした課題を解決するため、パナソニック コネクトでは、光沢の影響がある環境でも、超低遅延で光沢検出を行い、リアルタイムでロボットの次の動作に反映できるセンシング技術を開発した。

　画像データからロボットの動作に必要な情報を抽出し、ロボットにフィードバックして制御を行う場合、カメラ、プロセッサー、アクチュエーターが必要になる。さらに、対象物の表面に光沢があると、画像から対象物を正確に検出するのが難しくなることがある。

　このような場面では通常、CPUやGPUが装備されるPCを使った光沢検出が一般的に利用される。画像認識を行う際には、ピクセル単位でカメラから転送されてきた画像の全てのピクセルがそろったところで画像処理を開始する。これによって画像転送や画像処理を行う際に、カメラ、データや命令を処理するプロセッサー、ロボットを動作させるアクチュエーターの間で、逐次メモリとのやり取りが発生する。具体的には、カメラ画像をキャプチャし、メモリに保存、そのデータがプロセッサーに送信されて処理されメモリで保存、さらにメモリから処理済みデータがアクチュエーターに送信というプロセスが連続して行われる。この一連の処理の中で、メモリに依存した処理と、各処理にかかるプロセスが逐次処理になるため、全体として数十秒から数百ミリ秒の遅延が発生する。

　パナソニック コネクトでは、FPGAを活用して、カメラから転送されるピクセル単位の画像データの転送速度に同期し、画像データの一部を使用して光沢検出する特殊なアルゴリズムを活用することで、順に転送されてきた画像データを即時に画像処理し、データを保存するためのメモリが不要となり、低遅延な情報提供によって高速なロボット制御を可能とする技術開発を行った。

　この開発に当たり、毎秒1000枚（毎秒1000フレーム）の画像データを撮影する高速カメラを使って実現したことで、全ての処理が1ミリ秒以下で行えるという性能を達成した。

　ただし、メモリを介さない処理を実現するために、転送されてきた画像データが全てそろってから処理を開始するのではなく、転送されてきた画像データの一部を使用して光沢検出する特別なアルゴリズムであるため、処理遅延は短くなりますが、検出性能が落ちてしまうという課題がある。そこで、開発した技術では、一般的なカメラ（毎秒60フレーム）と比べて、高速カメラ（毎秒1000フレーム）ではフレーム間の情報変化が非常に小さい点に着目した。毎秒60フレームのカメラでは、動く対象物の場合、フレーム間の情報変化が大きくなり、フレーム間の情報を利用しようとすると、情報を補完するなどの特別な処理が必要になる。一方、高速カメラは、動く対象物であっても、フレーム間の情報変化が小さいため、一つ前のフレームで処理した結果を活用できる。

　カメラから転送される画像データの速度に同期して、順に転送されてきた画像データを即時処理しつつ、高速カメラの特長を生かして、前フレームでの情報を活用するハイブリッドなアルゴリズムにより、1ミリ秒以下で正確な検出を高速処理で実現する。

　この技術により、関連手法との比較で、リアルタイムパフォーマンス上ではBest performanceを達成し、画像処理分野の世界最大規模の国際学会ICIP 2024で論文が採択された。

　パナソニック コネクトでは、動くモノを正確に検出し、ロボットにフィードバックできる技術は、同社が事業領域として注力しているサプライチェーンの領域、製造、物流、流通のあらゆる現場において、自動化の効率向上に貢献できる技術だと説明。特に製造の分野では、生産ラインで加工しているアイテムが常に動いている自動車業界などで、ほぼリアルタイムの生産確認に利用でき、ラインを止めることなく高効率な生産に貢献することも可能になるとしている。

　今後は、製造、物流現場で必要とされるさまざまな超低遅延センシング技術を開発し、人には見えない速さのセンシング技術によって、現場の生産性と高品質の両立に貢献できる技術を目指して、技術開発を進めていくとしている。