NTTドコモビジネス、広域分散GPU実証環境「GPU over APN Testbed」を提供開始

　NTTドコモビジネスは7月6日、IOWN APNを活用し、全国に分散配置されたGPUリソースを一つのプラットフォームのように利用できる全国広域分散GPU実証環境「GPU over APN Testbed」の提供を開始した。

　実証環境では、首都圏4カ所をハブとして、札幌、金沢、福岡、大阪のNTTグループのデータセンター8拠点にあるGPUをIOWN APNで接続している。利用企業は、AI学習の分散処理や拠点間の大容量データ転送について、自社のデータやワークロードが分散されたGPUリソースで稼働可能なのか、どのような課題がありどう設計すべきかといった課題を、100Gbps級の低遅延・高速大容量通信とGPU環境を使って検証できる。

GPU over APN testbedのイメージ図

　「このtestbedにおける共同検証を通じて、NTTグループのAIネイティブインフラである『AIOWN』の中核のひとつである『AI-Centric ICTプラットフォーム』構想の実現を推進する」（NTTドコモビジネス イノベーションセンター IOWN推進室担当部長エバンジェリスト 張暁晶氏）。

NTTドコモビジネス イノベーションセンター IOWN推進室担当部長エバンジェリスト 張暁晶氏

AIデータセンター不足をGPU over APNが補う

　生成AI、データ利活用、画像処理などの分野でGPUの需要が高まっている。一方で、AI向けインフラは膨大な電力を必要とすること、それに伴って従来とは異なる冷却能力が必要なことが課題となり、利用可能なインフラ環境は選択肢が少ない。また、GPUクラスタは従来型データセンターでは耐床荷重が不足していて、既存データセンターでは簡単に導入できないという課題もある。

　これを解決するのがGPU over APNというコンセプトだ。これは、「データセンターの地方分散とAPN活用による仮想大規模化、再エネ連携による柔軟な運用」という、経済産業省のワット・ビット連携の構想にも合致している。

GPU over APNコンセプト

　異なるロケーションのリソースを仮想的に一体のものにするためには、同一拠点内にあるのと同等のネットワーク品質が必要になる。従来のネットワークでは帯域不足や遅延が問題になっていたが、それを解消できるのが光電変換を伴わないAPN（All Photonic Network）だ。

　また、AIインフラの分散化には、物理的な制約を解決する以外にも以下のようなメリットがある。

・事業継続（BCP/DR）
　離れた地域に分散することで、大規模災害などでひとつの拠点が使えなくなっても、AIを止めずに稼働できる。

・データ主権確保
　従来は、複数拠点にまたがった環境でGPUによる処理を行う場合、ネットワークのボトルネックのためデータをストレージからGPUクラスタにコピーしてくる必要があった。しかし、APNで接続されていれば、同一拠点内にあるのと同様にデータを扱える。このため、データは厳重に管理されたストレージに置き、処理だけを別の拠点で行うことが可能。これにより、データ主権が確保される。

　AIインフラとして外資のクラウドサービスを使う場合は、厳密にはインフラ主権が保てない（外国の法制度の支配下にある）が、NTTグループのデータセンターの場合は、国内の法律のみに従う。

・戦略的な選択肢
　広域分散したAPN接続のクラスタという選択肢ができることで、データセンターやネットワークのコスト、遅延、リスクを最適化した設計が可能になる。NTTドコモビジネスではさらに、NTTグループ以外のデータセンターとGPU over APNで接続することも検討している。

GPU over APN Testbedの特長

　GPU over APN Testbedは、IOWN APNを活用した100Gbps級の低遅延・大容量通信により、全国分散GPUを一体的に連携している。ネットワーク以外に、複数拠点のGPUリソースとストレージが提供される。GPUリソースは仮想マシンとして提供するが、10月以降にはKubernetesによるGPUクラスタの提供を予定している。

　想定している利用ストーリーとしては、以下の3つを挙げている。

①AIの学習規模を拡張したい
　大規模AI開発を推進する企業・研修機関では、単一拠点のGPU・電力が上限に達して学習が頭打ちになるケースがある。複数拠点のGPUをAPN接続することで仮想大規模化すれば、拠点の制約を意識せずに必要なリソースを段階的に拡張できる。そのための検証を行う。

②グリーン電力でサステナブルAI基盤を築く
　AI基盤は大量の電力を消費するが、CO2排出量制限の対応が必要な企業もある。そこで、グリーン電力が豊富な地方拠点のGPUをAPN接続し、分散推論の実効性を検証。グリーン電力のある場所でAIを動かす、環境負荷を抑えたAI基盤を目指す。

③大規模AI基盤の耐障害性を向上させる
　一つの拠点で障害が発生した際に他の拠点で処理することで耐障害性を向上させるには、拠点間で大容量データを高速転送する必要がある。データセンター内のサーバー間通信ではRDMA（Remote Direct Memory Access：データ転送時に、CPUを介さず直接メモリにアクセスする技術）が使われるが、これを活用したNTT独自ツールによる拠点間の大容量データ転送などの技術検証を行う。

共同PoCによりユースケースを拡大

　NTTドコモビジネスでは、GPU over APN Testbedの共同PoCのパートナー企業を募集している。適用シナリオの明確化からGPU配置・データ配置・距離条件を設計し、性能や遅延、スケーラビリティを実環境で評価する。その後、本格導入へとつなげたい意向だ。Testbedの利用料金については、個別設計なので問い合わせてほしい。

　共同PoCを通じて得られた知見や技術的成果を活かし、今後はGPUサービスへの展開を進めていく予定だ。

　「お客さまやパートナー企業とも連携しながら、本実証環境を活用したユースケースの創出を継続的に推進する」（イノベーションセンター IOWN推進室担当課長の野山瑛哲氏）。