ニュース
NTT、IOWN技術の活用によりリモート拠点上でのリアルタイムAI分析を可能に
2024年2月27日 11:30
日本電信電話株式会社（以下、NTT）、Red Hat、NVIDIA、富士通株式会社の4社は、郊外型データセンターを活用した省電力リアルタイムAI分析技術の実証実験を共同で行った。従来、都市部のセンサー設置拠点の近く（エッジ）でAI分析すると、維持管理コストが高く、AIモデルの進化やハードウェア拡張に追従することが困難という課題があった。今回の検証では、IOWN（Innovative Optical and Wireless Network）を活用することで、約100km離れた郊外型データセンターでの処理における遅延時間と消費電力を、大幅に削減できることを実証した。これにより、郊外型データセンターへのAIリアルタイム分析処理の集約と省電力化が可能になるという。
リアルタイムAI分析における場所の課題
大規模AI分析への期待が社会的にも高まっているが、実際にデプロイ・運用するにはいくつか課題がある。そのひとつが、データ発生源とAI分析の処理を行う場所の距離をどうするかという問題だ。
センサー設置拠点（エッジ）で処理すればリアルタイム性能が高いが、
- 維持管理のコストが高くなる
- 一度設置すると変更しづらく、AIモデルやハードウェアの進歩に追従するのか難しい
- センサーが都市部にある場合、近隣にAI処理ができるデータセンターを見つけるのが難しい
という課題がある。
一方で、郊外の大規模データセンターであれば用地や電力供給では優位性があるが、ネットワークの遅延や大量データ収集のCPUオーバーヘッドにより、厳しいリアルタイム性能が求められるサービスの提供が困難になる。
このようなAI分析に関する「場所の課題」を、IOWN技術の活用で解決することを目指して、IOWN Global Forum（以下、IOWN GF）のPoC活動を通じた実証を、NTT、Red Hat、NVIDIA、富士通の4社で行った。
PoCリファレンスに基づく実証
IOWN GFは、新規技術、フレームワーク、技術仕様、リファレンスアーキテクチャの開発を通じ、新たなコミュニケーション基盤であるIOWNの実現を目的とする非営利団体として、2020年1月に設立された。2024年1月時点では、アジア・米州・欧州を含む138の組織・団体が参画している。NTTは、インテル、ソニーと共に設立メンバーだ。
現在、IOWN GFではPoCを推進しており、これまでに10のPoCリファレンスが発行されている。今回の実証は、そのうち「CPS Area Management Security」のPoCリファレンスに基づいている。これは典型的なスマートシティユースケースで、大規模映像推論とそのデータの共有における計画書である。実証する課題は、
- 大規模センサーデータのリアルタイムAI分析
- IOWN技術の活用により、低遅性を維持しつつ、必要リソース量・消費電力を削減
の2点で、以下のような検証を行う。
- 監視する拠点に大規模なセンサーを配置
- そこからビデオカメラやLiDARのデータをデータストリームとして収集
- 継続的に分析
- 対応が必要な事象や異常を検知した場合は迅速なアクションを促す
今回の実証実験では、横須賀市のセンサー設置拠点と武蔵野市の郊外型データセンターをAPNで接続し、AI分析基盤を評価した。拠点間の距離は、約100kmだ。
具体的には、センサーの数を約1000台と仮定して、まずセンサー拠点側のノードで一旦データを集約（ローカルアグリゲーション）する。そこからデータをリージョナルエッジクラウドのようなクラウドにアップロードして、それをリアルタイム分析する。
検証結果としては、IOWN APN（All-Photonics Network）およびIOWN DCI（Data Centric Infrastructure）を活用することによって、従来の方式と比べて遅延時間を60％削減、消費電力を40％削減できることが確認された。
実証した結果をIOWN GFに報告し、2024年1月にSSF（Significant Step Forward：製品化の前段階）でRecognized PoCとして認定された。これにより、IOWN GFの認定PoCとしてIOWN GFのホームページでレポートが公開されている。また、2月29日に開催されるMWCバルセロナにおけるIOWN GFセッションでも紹介される予定だ。
具体的な実証実験の内容
IOWN GFにおけるDCIでは、APNの低遅延・ロスレス通信を活用した拠点間のデータ転送における直接メモリ転送（RDMA over APN）や、多様なアクセラレータを活用したエネルギー効率の高い大規模データ処理が検討されており、これらの成果を今回の実証でも活用している。
比較のため、従来の技術では、どのように処理を行っているかを示したのが以下の図だ。
センサー設置拠点でビデオデータを集約し、AI分析するデータセンターへ転送する際に、CPU上のOSカーネルで通信プロトコル処理（TCP/IP、UDP/IP）を行うため、この処理がオーバーヘッドになる。さらに、データセンター側ではCPU/GPU間のデータ転送オーバーヘッドがあり、大規模データ収集ではこれらのオーバーヘッドが遅延の増加やボトルネックの要因となる。
また、AI分析に関しても、推論の部分だけにGPUを用いるなどアクセラレータの活用は限定的で、受け取ったデータの復号、前処理、推論後の後処理といった多くの処理をCPU上で実施しているのが現状だ。アクセラレータを最大限活用することで、全体を高効率化する余地が残されている。
一方、今回の実証では、APNによる低遅延でロスレスの通信、DCIのデータ処理の高速化手法（RDMA over APN）、アクセラレータを用いたオフローディングを活用して、データ収集、AI分析にかかる処理の大幅なオーバーヘッドの削減、低消費電力化を実現している。
①低遅延のAPNを活用
従来の光ファイバーでは、ネットワーク上の各経由地において、光信号から電気信号への変換を行って転送処理を行う。この光電変換により、転送距離が長い（ホップ数が多い）ほどネットワーク遅延が発生する。しかしAPNではこの光電変換を行わないため、一般的な光ファイバー通信より低遅延でパケットロスや遅延ゆらぎといったネットワーク品質の低下がない。
②CPU処理によるオーバーヘッドを削減
センサーデータの集約においては、Smart NICを活用してデータを直接メインメモリに展開する。このデータに必要な処理を加え、拠点間メモリ転送技術であるRDMA over APNを活用して、AI分析を行うデータセンター側のノードへ直接転送する。このため、センサー拠点側でのCPU処理オーバーヘッドが削減される。
また、転送先の分析拠点側でも、ノードCPUのメインメモリ上ではなく、GPU上のメモリにデータを置き、復号、前処理、推論、後処理といった必要な処理を、GPUの中に閉じる形で実施する。極力CPUを介さず、アクセラレータ（スマートNIC・GPU）内でAI分析を完結するオフローディング技術を最大限活用することで、高効率なAI分析を実現している。
「このようなメモリ間の直接転送技術は、従来よりRDMAというプロトコルを使って実施されていたが、遅延やパケットロスの影響を受ける広域ネットワークでは性能が出ないという課題があったため、主にデータセンター内で使われていた。APNを使うことで、距離やパケットロスによる性能低下がなく、効率のよいデータ転送を実現している」（榑林亮介氏：NTTソフトウェアイノベーションセンタ システムソフトウェアプロジェクトグループリーダ）
③コンテナオーケストレーションの活用で複雑性を回避
アクセラレータを活用したアプリケーションは運用が難しく、専門的な知識が必要になる。今回の実証ではRed Hat社のコンテナオーケストレーション技術を使って、アクセラレータの活用に必要な環境の構築や設定を自動化する仕組みを導入している。「これにより、アクセラレータの複雑性の隠蔽や柔軟な配備を可能にしている」（榑林氏）。
商用化に向けて大阪・関西万博で適用の予定
横須賀－武蔵野間（約100km）を接続した実証実験の結果、従来型の映像AI分析と比較して、以下のような結果となった。
- センサー設置拠点での受信から郊外型データセンターでのデータ解析完了までの時間（1GPUでの実測値）：最大60％削減
- 1カメラあたりのAI分析に要する消費電力（1GPUでの実測値）：最大40％削減
- 1,000カメラ収容時の消費電力見積もり値：最大60％削減
PoCの詳細は、IOWN GFの公式サイト（https://iowngf.org/recognized-pocs/）に掲載されている。個々の検証結果がグラフ付きで説明されているので、興味があれば見てほしい。
また、AI活用には大量の電力が必要になることが懸念材料となっているが、郊外型のデータセンターでは再生可能エネルギーの活用がしやすい場所もあるので、カーボンニュートラルの意味でも貢献できそうだ。
今回の実証結果を受けて、NTTでは「このAI分析基板に、開発中の光電融合技術（デバイス内の処理に光通信を使う）を組み合わせてさらなる電力効率をはかり、カーボンニュートラルの実現に向けて貢献する」（榑林氏）としている。
また、これらの成果については、2025年大阪・関西万博のNTTパビリオンにおけるIOWNコンピューティングの一部として適用したいと考えており、その成果を元に2026年の商用化を目指しているという。