クラウド&データセンター完全ガイド:特別企画

国内AIデータセンターにおける消費電力と発熱の課題をいかに克服するか――レノボとインテルが語る「水冷技術の最前線」と「AIインフラの未来」

生成AIの急速な普及によって、データセンターを取り巻く環境は激変している。そうした中で浮上している課題が、AIサーバーのGPUをはじめとするプロセッサーやアクセラレーターの高性能化に伴う消費電力と発熱量の増加である。このような課題を解決するものとして注目されているのが、従来の空冷方式に代わる技術である水冷方式だ。今後、AI時代のデータセンターはどう変わるのか。そして、水冷はデータセンターにどのようなメリットをもたらすのか。レノボ・エンタープライズ・ソリューションズ合同会社 Japan ISG CTO の早川 哲郎 氏と、インテル株式会社 インダストリー事業本部 シニア・ソリューション・アーキテクトの土屋 建氏に話を聞いた。(本文中敬称略)

インテル株式会社 東京本社 インダストリー事業本部 シニア・ソリューション・アーキテクト 土屋 建 氏

電力と発熱の問題が国内AIデータセンターの「競争力低下」を招く

――AIの活用は、いまやあらゆる企業にとって喫緊の課題です。そうした中、その運用基盤を担う日本のデータセンターはAIインフラの構築に際して、どのような課題に直面しているのでしょうか。

土屋: はじめにAIインフラの設計についてですが、学習と推論など、用途ごとに最適なアーキテクチャーが全く異なります。また、処理性能を向上させるにあたって、GPUだけに着目しがちですが、単にサーバーにより多くのGPUを搭載すれば良いというものではありません。ネットワーク帯域、ストレージ速度、メモリ帯域の確保に加え、推論フェーズではCPUの処理能力も極めて重要になります。 加えて、ラック単位での性能、ワット当たりのパフォーマンス、あるいは1トークン当たりのコストや電力効率といった評価軸での検討も必要です。

 しかし、特に推論向けのAIインフラを設計するにあたり、決定的なリファレンスが存在しないのが現状です。したがって、SSDやメモリのコスト、冷却方法、個別パーツの発熱対策といった目前の課題に個別に悩み、トータルとして何が最適解なのか判断できない、という課題が生じています。

早川: おっしゃる通りです。AIの世界は進化のスピードが速すぎるため、私たちのようなベンダーがリファレンスアーキテクチャーを策定しても、わずか半年や1年後には新しいプロセッサー、アクセラレーター、ネットワーク技術が登場し、陳腐化してしまうことがあります。従来のITインフラのように「これを選べば確実」という固定的な構成を提示しにくいのが現在のAIインフラの特徴であり、課題といえるでしょう。

――そうしたAIの運用基盤を担っていくにあたり、目下の課題として直面しているのが消費電力です。ある調査によれば、国内データセンターの消費電力は2030年までに現在の3倍、日本全体の全消費電力の約10%に達すると試算されています。このような消費電力に関する課題について、どのように捉えていますか。

早川:事実、国内のデータセンター事業者がAI対応を進める中、現在、最も優先して取り組まなければならないのが電力の確保です。

 特に日本固有の深刻な問題として挙げられているのが、「電力そのものの供給能力とコスト」です。例えば東京都内で新しくデータセンターを建設しようとしても、変電所の容量不足によって断念せざるを得ないケースは少なくありません。そのためデータセンター事業者は、電力が円滑に確保できる、大都市圏以外の立地を模索せざるを得ない状況にあります。

 一方で、1ラック当たりの使用電力量の基準も劇的に変化しています。かつてのような数十kW程度では全く足りず、1ラックあたり100kWや150kWといった超高密度の電力が求められる時代になっており、その対応に追われているのが現状ではないでしょうか。

 そして、電力の増大と切っても切れない関係にあるのが「熱」の問題です。発生する莫大な熱をどのように処理・冷却していくのかも極めて重要なテーマとなっています。

土屋:データセンター事業者やクラウド事業者の方々と日々会話する中で感じるのは、既存のラックにサーバーを段階的に入れ替えていきたいという要望が依然として主流であることです。しかし、そうした事業者からすれば、1ラック100kWといったAIインフラにう必要な電力密度に対応するのが困難な状況にあります。

 加えて、冷却のための設備コストを考慮した場合、結局、消費電力の低い従来型のサーバーを選ばざるを得ないケースが、いまだ多く見られます。その結果、コンピュート密度を上げることができず、AI時代に対応したインフラ基盤を構築できないという悩みを抱えています。

レノボ・エンタープライズ・ソリューションズ合同会社 Japan ISG CTO 早川 哲郎 氏

AIデータセンターの消費電力と発熱の課題を解決する「水冷技術」

――高性能なAIサーバーを大量に運用するインフラを実現するためには電力の確保に加え、発生する莫大な熱をどのように処理・冷却していくのかが極めて重要な課題となっているわけですね。この現状に対して、どのような解決策が提示されているのでしょうか。

早川:電力を抑制しながら熱の問題を解決する方策として、「水冷サーバー」のような先進テクノロジーの活用が挙げられます。

 1ラックあたりにどれだけのプロセッサーやアクセラレーターを搭載できるかによって、TCOは劇的に変わります。空冷の場合、高発熱のパーツを冷やすために大型のヒートシンクおよび冷却ファンを大量に搭載しなければならず、結果、プロセッサーやアクセラレーターの実装密度が低下します。

 これに対して水冷を採用すれば、比較的容易に、リソースの実装密度を倍以上に高めることが可能です。これはGPUなどのアクセラレーターに限らず、汎用CPUにおいても全く同じことが言えます。 加えて、水冷方式を採用することで冷却のために必要な電力も抑制できるので、データセンター全体の電力使用量を3~4割削減できるという効果を謳っています。

土屋:生成AIの処理では、CPUやGPUだけでなく極めて高いメモリ帯域と容量が要求されます。現在では、空冷で冷やせる限界は、大型のヒートシンクを使用しても500W程度が上限と言われています。さらに、ヒートシンクの周囲には高密度・超高速で動作するメモリやSSDが配置されているほか、最近ではNICも400Gbpsのものが利用されるようになっており、システム全体を空冷だけで冷却するには、高度で複雑な冷却設計が必要となっています。

早川:あらゆるコンポーネントが消費電力を増大させる方向に進んでいるため、従来の1Uや2Uというフォームファクターでは搭載できるメモリ量やCPUコア数に厳しい制約がかかっています。対して水冷を導入することによって、こうした物理的な限界を打破することが可能となります。

図1:水冷技術がAIサーバーの消費電力、熱、実装密度の課題を解消するカギに

水冷の普及にはITとOTの壁を崩すことが必要

――現在の日本のデータセンターにおける水冷方式の普及状況と、課題についてお聞かせください。

早川:水冷設備を適切に運用できる環境の整備がデータセンターのファシリティに求められますが、昨年から今年にかけて、ようやく水冷に対応したデータセンターが増え始めてきたという印象です。

 新築される建屋に関しては高電力・水冷対応を前提とした構造を採用するケースが増えているように感じます。中でも外資系のデータセンター事業者や大手通信系事業者様を中心に、高電力密度の確保や水冷対応への移行が進んでいるようです。

 とはいえ、日本国内では、水冷対応データセンターの比率はまだ限定的であり、本格的な普及フェーズはこれからだと見ています。

土屋:水冷方式の普及に際しては、IT側とOT(ファシリティ・設備)側との間でより密な連携が必要に思います。電力効率を追求するのであれば、ITと設備の双方の知識を組み合わせて最適化することが重要です。

早川:それは私も強く感じているところです。水冷サーバーを導入するための環境条件は、IT側だけで完結する話ではないからです。「この水温では、毎分何リットル必要か」といった領域はこれまでのIT側には馴染みがなく、設備・建設側が必要とするパイプの太さや、チラー(大型冷却装置)の規模感など、ITとファシリティ双方のノウハウが必要です。

10年以上にわたって水冷技術を提供、電力消費を4割程度まで削減可

――AIインフラの拡大と省エネルギー対応を両立させるため、レノボは第6世代の水冷技術「Lenovo Neptune」を展開しています。その特長と優位性についてお聞かせください。

早川:レノボは10年以上にわたり水冷ソリューションの開発と販売を続けてきました。その第6世代となるのが「Lenovo Neptune」であり、長年にわたって積み重ねてきた水冷の技術、出荷実績、そして豊富な運用ノウハウを持っている点が最大の強みです。

 技術面での最大の特徴は、サーバー内のすべてのコンポーネントを液体で冷却する「完全ファンレス水冷」を実現している点です。これによりファンを完全に排除できるため、ファン駆動に必要な電力をゼロにできます。

 さらに大きなアドバンテージが「温水水冷」です。従来の一般的な水冷システムでは20度程度の冷水を使用し、熱を吸収して30度で戻ってきた水を再び20度に冷やすためにコンプレッサーを激しく動かす必要があり、そこでも多大な電力が発生していました。これに対し、Neptuneは最大45度の温水でも冷却が可能な「ウォームウォータークーリング」技術を開発しました。

 これは、大型のチラーを用いることなく、例えばサーバーを45度の水で冷やし、かつ、55度で戻ってきた水を再び45度に冷ますことを可能にします。ドライクーラーで冷却可能な温度帯で運用することで、冷却水を再利用するための電力を極限まで削減できます。

 これらの特長により、サーバーや冷却設備を含めたデータセンター全体の消費電力を約4割削減することができます。この仕組みは前世代から実現しており、今後、対応温度をさらに上げていけるよう研究開発を進めています(図2)。

 さらに、レノボは水冷方式の導入を支援するため、今年5月、日本初となる水冷AIインフラ検証拠点「Neptuneラボ」を開設しました。水冷AIインフラを実環境に近い条件で検証できるもので、インフラ設計やTCO検討を行う拠点として利用していただくことが可能です。

図2:第6世代「Lenovo Neptune」を採用する「ThinkSystem SC750 V4 Neptune」

AI処理を最適なプロセッサーへ、インテルが挑む「電力効率」の最大化

――システムのリソース基盤を担うインテルでは、どのような省電力化の取り組みを行っているのでしょうか。

土屋:インテルではコンポーネントレベルでの省電力化を推進しています。ノートPCで培ってきた高度なパワーマネジメント技術をサーバー向けプロセッサーにも応用し、低負荷時に周波数や電圧を極限まで下げる機能を進化させてきました。ここ3、4年で、このサーバー向けCPUの省電力機能はミッションクリティカルな高度な処理に耐えうるレベルへと成熟しています。

 さらに「Xeon 6」世代からは「AET(Application Energy Telemetry)」と呼ばれる技術を導入しています。従来は推測するしかなかった仮想化層のアプリケーションと、物理層のリアルな消費電力とを精度高く紐付けて可視化できるようになりました。OSやBIOSと連携してアプリケーションごとの電力消費を精密に観測することで、実効的な平均消費電力を削減するための支援を行っています。

――「AI=GPU」というイメージが強く持たれる傾向にありますが、インテルはCPUやアクセラレーターを含めた異種混在型の構成をどのように見ていますか。

土屋:AI推論については、GPUだけですべてを処理するのではなく、CPUやアクセラレーターに処理を振り分けることで電力効率を高められることが分かってきています。重要なのは、CPUかGPUかという二者択一ではなく、それぞれの処理に適したプロセッサーを使い分けることです。

 例えば、メモリ帯域が大量に必要な処理と、行列演算が大量に必要な処理では、適したアーキテクチャーが変わります。AIエージェントを実行するための、ソフトウェアスタック全体の使いやすさを追求するためにも、CPU内蔵のAIアクセラレーターである「AMX」や、今後はコードネーム「Crescent Island」と呼ばれるAI推論向けのGPUを提供するとともに、それらのインテグレーションにも注力しています。

水冷の標準化に向けた今後の取り組みと展望

――水冷方式導入の障壁として、メーカーごとの仕様の違いなどが挙げられます。インテルとレノボはハードウェアベンダーとして、どのような標準化やエコシステムの構築に取り組まれていますか。

土屋:インテルは「OCP(Open Compute Project)」などのオープンな標準化団体に参画するとともに、リファレンスデザインのドキュメントや設計ガイドラインを公開しています。これにより、インテルのCPUが水冷環境下で安全かつ確実に動作するための標準仕様を提示し、エコシステム全体を支えています。そして、その標準を実用的なサーバー製品として具現化してくれているのが、レノボのようなパートナー企業です。

早川:レノボもOCPやASHRAE(アメリカ暖房冷凍空調学会)といった標準化コミュニティに参画し、積極的な提言を行っています。ただし、水冷技術における標準化は、一般的な電源コンセントのように誰でも共通で使えるレベルには達していません。また、液浸冷却など新たな技術選択肢も登場していきます。

 その時代ごとに最も電力効率の優れたテクノロジーを企業に使っていただけるよう、技術の進化に合わせてガイドラインをアップデートし続けることが私たちのようなハードウェアベンダーの使命だと考えています。

<関連リンク>

レノボ・エンタープライズ・ソリューションズ合同会社

https://www.lenovo.com/jp/ja/