クラウド&データセンター完全ガイド:イベントレポート

液冷マストの時代到来! ゲットワークスが提案するコンテナ型データセンターという選択肢

データセンター・イノベーション・フォーラム2024 特別企業講演レポート

 データセンター・イノベーション・フォーラム プログラム委員会とインプレスは、社会的なインフラとなっているデータセンターの今後の方向性を展望するイベント「データセンター・イノベーション・フォーラム2024 オンライン」を、2024年12月5日~6日に開催した。

 データセンター・イノベーション・フォーラムは、データセンター/クラウド基盤サービス事業者に加えて、ゼネコン、サブコン、設計会社、不動産会社や自社でデータセンターを保有するユーザー企業など、データセンター事業に関わる各事業者を参加対象としたイベントとして、毎年開催している。

 通算で33回目となる今回の「データセンター・イノベーション・フォーラム2024 オンライン」は、「生成AIの進化とともに重要度がさらに増すデータセンター。そのあるべき姿と課題を探る」と題して、AI用途などで高消費電力化・高発熱化するサーバーの冷却に対応するソリューションや、コンテナ型データセンター、大手クラウドサービス事業者の動向など、多数のセッションが行われた。ここでは、特別企業講演として行われた、株式会社ゲットワークスのセッションを紹介する。

ゲットワークスの湯沢GXデータセンター
株式会社ゲットワークスの林竜太朗氏(事業統括部部長)

空冷と水冷、GPU対応状況

 AIやHPC用途などで需要が高まっている、GPUサーバーの設置に対応するデータセンターは、現状ではまだあまり多くはない。こうしたサーバーに対応するデータセンターを新たに建てるのには時間がかかるが、コンテナ型データセンターであれば短納期で構築が可能だ。セッションでは、既に多数のコンテナ型データセンターでGPUサーバーを稼働させているゲットワークスの林竜太朗氏(事業統括部部長)が、同社の実績や取り組みを紹介した。

 コンテナ型データセンターの設計、構築、運用を主な業務とするゲットワークスでは、空冷タイプ、水冷タイプ、ハイブリッドタイプのコンテナを用意している。空冷タイプであれば、1コンテナに最大6ノード、GPU 48機が搭載可能(記事掲載時点では設計変更により最大8ノード、GPU64基搭載可能)。水冷の場合は1コンテナに24ノード、GPU 192基を搭載可能(記事掲載時点では設計変更により32ノード、GPU 256基搭載可能)だ。エアフローを気にしなくて良いので、高密度に搭載できる。

 以下の図はあくまでイメージだが、搭載台数が大きく違うことが分かる。

空冷タイプコンテナ
水冷タイプコンテナ

 どちらも、入り口には機密性、遮音性の高い扉を使用し、カードキーによる入室管理も可能。コンテナ内には複数のカメラが設置されており、動体検知が行われる。GPUサーバーを設置するには従来のデータセンターで対応できないほどの耐荷重が求められるが、コンテナは十分な耐荷重を持っている。

 GPUの対応状況をまとめたのが以下の図だ。林氏は、「さらに、先のバージョンも見据えてコンテナ型データセンターを日々設計し、実証実験を行っている」と言う。

現在のGPU対応状況

 また、コンテナ単位で冷却水の流量調整や予備空調機の装備を変更できるため、水冷サーバーや水冷空調機の実証実験を行いたい企業に対して、必要な環境を構築して提供することも可能だ。

検証環境を提供

 あるいは、GPUサーバー設置案件があるのに受け入れできないと困っているデータセンター事業者に対しては、ゲットワークスの湯沢GXデータセンターにDC in DCでサーバーを受け入れる。ゲットワークスの名前を出さず、自社データセンターとして営業し、運用保守はゲットワークスに任せることもできるし、自社で行ってもよいという。

DC in DC

コンテナ型データセンターのカスタマイズ性

 ゲットワークスは、開業当初は他社データセンターを借りてホスティング事業を行っていた。しかし、「当時のデータセンターが持つ1ラック当たりの供給電力上限やランニングコストに問題を感じ、コンテナ型データセンターに着目した」(林氏)。

 2010年からコンテナ型データセンターの実証実験を開始し、現在までに自社データセンターを含めて約250棟の構築実績がある。「データセンターを構築する土地の特徴に合わせた設計」で、顧客からの要件と立地条件を精査し最適な仕様を提案しているという。

 例えば冷涼な気候であれば外気を用いたフリークーリングを活用し、火山が近い場合は火山灰のコンテナ内侵入を防ぐフィルター機構を組み込む。サーバーの停止が許されない病院の基幹系システムにおいては発電機ビルトインによる電源冗長化を行い、十分な日照時間があって効果が期待できる立地では太陽光パネルを導入するといった具合だ。また、国外の電源規格(UL規格など)に対応するコンテナを国内で設計・構築し、現地に納品した実績もある。

顧客ニーズと立地に合わせた設計

 林氏は、同社のコンテナ型データセンター構築のポリシーとして、以下の5点を挙げた。

①多種多様なカスタマイズ性
②自社設計・開発による完全国内製造
③遊休地活用
④地域・自治体との連携
⑤国内のIT基盤への貢献

 コンテナ型は、数ラックごとの限られた領域ごとに異なる設計・仕様にすることが可能で、カスタマイズ性が高い。ゲットワークスでは、例えば以下のようなコンテナ加工の実績がある。

  • ひとつの面をすべて開口し、スライドドアを取り付ける
  • 空調の室外機を床置きするのではなく、コンテナと一体化させる
  • コンテナの外側からの見た目を変えずに、吸排気のファンを設置する
  • コンテナの屋外部分を拡張し、小型の発電機をビルトインする

 データセンターの構築途中や構築後に仕様変更が必要になった場合、建物を建ててしまうと変更は難しいが、コンテナなら柔軟に対応できる。さらに、データセンターに求められる設計は、立地や気候以外に、搭載するサーバーによっても変化する。「さまざまなカスタマイズで培った技術は、時間と共に変化するニーズにも、最善の選択肢を提供できる」と林氏は言う。

 ゲットワークスでは、すべてのコンテナ型データセンターを自社で設計・開発し、国内製造している。工程ごとに品質管理しているため、製品自体のクオリティやスケジュール調整のしやすさにつながっている。さらに、計画立案から自治体との調整、補助金申請、キュービクル設置、保守運用など、すべての工程をワンストップで対応可能だ。

 コンテナ型データセンターは1棟から運用が可能であり、狭い土地でも設置できる。このため、遊休地活用に適している。実際、ゲットワークスが運用中の土地の大半が、自治体や企業から紹介された遊休地だという。

 地域・自治体との連携では、以下のような取り組みを行っている。

  • 地域の子供たちがデータセンター内で動物とふれあうレクリエーションを開催
  • 近隣農家と連携してデータセンター敷地内の畑でIoT農業を行う
  • データセンター敷地内の清掃などの軽作業を、地元企業や就労支援施設に委託
  • 電気関係管理者などを地元から雇用

 データセンターに隣接する空き旅館を改装して、インキュベーションサテライトオフィスを建設した例もある。

 データセンターは、国の重要なインフラと認識され始めている。生成AIを活用したシステムなど、より高い計算能力を必要とするGPUサーバーを国内でいかに数多く稼働させるかは、この先非常に重要となる。また、GPUサーバーの仕様は変化しており、現在は冷却仕様が複数混在するなど、データセンターに求められる要件は日々複雑化している。

 「これまでにないスピードで現れ、立ちはだかる課題に迅速に応えることができるのは、コンテナ型データセンターだと強く感じる」(林氏)

 また林氏は、「弊社はコンテナ型データセンターの販売益を求めているわけではなく、国内のIT基盤強化を支援したいと考えている」と言う。完全自社設計、開発、国内製造のため、「導入にかかる費用は、同業他社の3分の1以下」といい、浮いた分でGPUサーバーを購入してほしいということだ。

水冷マストの時代

 ゲットワークスでは、100%再生可能エネルギーのデータセンター構築を目指し、バイオマス発電、外気、雪冷熱、用水、地下水などを空調に活用してきた。これらの詳細なデータは収集・蓄積して以降のコンテナ型データセンター設計に生かしているが、ここで培ったノウハウは、最新の水冷ソリューションにも生かされている。

 サーバーの発熱量が増えたことで、これまで主流だった空冷空調では冷房能力が不足してきた。冷却できたとしても、電力効率が大幅に低下するため、供給電力の限界、CO2削減目標、PUE値など、さまざまな要素に影響する。加えて、この先には水冷を前提としたサーバーの普及も待ち受けており、もはやデータセンターにおいて水冷対応はマストの時代だ。

 カスタマイズ性が高く小規模展開可能なコンテナは、ニーズの変化に柔軟かつ速やかに対応できる。データセンターへのニーズの変化と、それに対するゲットワークスの対応を以下にまとめた。

データセンターへのニーズの変化

 ゲットワークスの水冷への取り組みについて、少し詳しく紹介しよう。

 ゲットワークスでは2018年、データセンター敷地内を流れる用水をポンプでくみ上げ、熱交換器を組み込んだコンテナCDU(Coolant Distribution Unit)を構築。複数のコンテナと結び、各コンテナ内を冷却することに成功した。その後、5年間の検証を行って通年冷却に対応したが、用水の水温が不安定なことには苦戦を強いられた。

 そこで、年間を通して温度が安定する地下水に着目。井戸を掘削して井水を活用することにした。

井水の活用

 データセンター敷地内に複数の井戸を用意し、またバックアップとして敷地近隣を流れる河川の取水権を取得。井水については、水質検査も実施して、飲料水として販売可能な検査結果が得られている。ゲットワークスがこのように潤沢な水源を確保した一方で、サーバー環境は現在のようなGPUサーバーの水冷化が進んできた。

 「多くの企業が水冷サーバーの受け入れに苦慮する中、弊社では既に多くの実証実験を行っていたため、スムーズに受け入れ環境を構築できた」(林氏)

 その後、シュナイダーエレクトリックとの協業により、水冷式局所冷却空調のInRow空調を導入した。本来は建物内での熱だまり対策など、局所的な空調として活用されるものだが、コンテナという限られた空間では絶大な効果をもたらす。加えて、ゲットワークスでは独自のノウハウを用いて、チラーを使わずに井水を組み合わせて稼働するため、消費電力を大幅に抑えることができる。

 さまざまな実証実験で収集した「大量データを保有している」という点も、ゲットワークスの水冷環境の強みだ。さまざまなデータを自社開発のDCIMツールで一元管理して、導入するサーバーや空調の細かな仕様にスムーズに対応し、サーバー稼働までつなげることができる。

自社開発DCIMツールとの連携

 冷却水の再回収・再利用の取り組みも行っている。水冷サーバーで熱を回収した冷却水は、コンテナCDUを複数組み合わせることでチラーを使わずに再冷却し、全てではないが、別のコンテナに再利用している。その他にも、温度上昇した水を冬期の融雪やデータセンターに隣接する土地で行っているIoT農業に活用するなど、多数の再利用のプランを持っている。

 空冷コンテナと水冷コンテナ、またはハイブリッド(空冷/水冷)のコンテナを混在して設置し、運用できるというのも特筆すべき点だ。現在のGPUサーバーは空冷対応のものが多いが、今後のGPUサーバーでは水冷対応も必要になることから、空冷/水冷が混在できるのは非常にメリットが大きい。

 その他、Supermicro製クーリングタワーを、国内で初導入。同社製水冷サーバーやCDU搭載のサーバーラックの導入も決まっている(記事掲載時点では導入・稼働済み)。

 紹介した以外にも多数の実証実験を行っており、「水冷環境による消費電力削減、CO2排出量削減に加え、資源の再活用による環境負荷低減で、国内屈指のグリーンデータセンターを目指す」(林氏)という。