省エネデータセンター「PUE＝1.02」を実現する液浸・液滴の冷却システム

クラウドを取り巻く環境とPUE 1.1の壁

　クラウドの普及は既に始まっているが、最近のトレンドはエッジコンピューティングだ。松岡氏はまず、「ApplicatiomFunction Orchestration」という考え方を紹介した。クラウドは、クラウドコンピューティング、Fogコンピューティングと呼ばれる中間層、エッジコンピューティングという階層構造になっている（図1）が、Applicatiom Function Orchestrationとは、「クラウドとエッジで機能分担して、サービスを面的に捉えること。レイテンシーの要求において、遅延を許容するのであればクラウドに配置し、許容しないのであれば近くのエッジに配置する。最近は、これが主流の考え方になっている」（松岡氏）という。

図1：クラウド（データセンター）の構成

　そのような状況においても、やはり省エネルギーは永遠のテーマだ。そこで登場するのがPUEという指標である。PUEをおさらいしておくと、データセンターの総消費電力に占めるICT機器の消費電力の割合を表す相対的な値で、ICT機器以外に何も電気を使っていなければ1.0の理想的な状態（1を切ることは、定義上あり得ない）。グーグルやマイクロソフトなどの大手データセンターは効率化を進めPUEが格段に向上しているが、中小規模のデータセンターでは「PUE 1.1の壁」は厳然と存在していると言われる。

　国内では、環境省事業として大阪大学やさまざまな事業者による「オープンイノベーションコンソーシアム」が省エネに関する技術開発・実証実験を行っている。「平成25年度CO2排出削減対策強化誘導型技術開発・実証事業」では、AI（ディープラーニング）を使ったCMC（Cloud managed by Cloud）により、消費電力の70％削減を実証。「平成28年度同事業」では自然対流冷却によりPUE 1.02を実現した。現在も進行中の「平成30年度同事業」は、5G基地局やクラウド・エッジ連携により、個別データセンターではなく面全体の省エネに取り組むものだ。

高発熱機器を冷却する液体冷却技術の種類

　セッションでは、平成28年度事業における成果について取り上げた。10kW以上程度の発熱密度のものを効率よく冷やすプロジェクトとしてスタートし、液浸（基盤を冷媒にじゃぶ浸けする）および自然対流冷却によりPUE 1.02を実現した。これは、当時の世界記録だったという。液浸は、空冷では冷却しきれない高発熱密度のものも冷却可能なだけでなく、空冷よりもはるかに小さい体積になる（図2）。

図2：液体冷却技術の特徴

　液体の冷媒でCPUを直接冷やす方法は、相変化の観点から単相（液体のまま利用）と2相（液体から気体への相変化を利用）に大別できる（図3）。

図3：液浸冷却技術の現状

　松岡氏によれば、「結論としては単相の方がいい」という。2相型では、沸点が50～70℃の冷媒を使い、CPU 温度が40～50℃になるとCPUの表面で沸騰、気化して上昇気流が発生する。この上昇気流による冷媒の対流と気化熱を奪うことから、熱効率は非常に良い。ただし、上昇した気体を上部の冷却板で冷やして液体にし、下に戻す必要がある。この構造のため、「ひとつのノードをメンテナンスするために、すべてのノードを冷媒から引き出さなければならないという、運用上の欠点がある」と松岡氏は言う。一方で、高沸点の冷媒を使う単相型の場合は、メンテナンスのためにひとつのノードを抜いても、他のノードは動作し続ける。

　単相型には複数の方式がある。冷媒をポンプやファンで強制的に循環させる「強制対流方式」は、すでに富士通や欧米のベンダーで商品化されている。これは「よく冷えるが、ポンプやファンの電力が必要なため、PUEという観点では理想的ではない」（松岡氏）。原理的には理想的なのが、熱対流のみで冷媒を対流させる「自然対流方式」だが、冷却能力の面では強制対流に劣る。もうひとつが液滴方式で、浸潤させるのではなく基盤に冷媒をぽたぽたと滴下する方式。冷媒を上に持ち上げる動力が必要だが、強制対流ほどの電力は必要としない。一長一短あるが、PUEの観点では、自然対流・液滴・強制対流という順番になるという。

PUE 1.02を実現する自然対流液浸方式

　平成28年度事業で採用したのは、自然対流 液浸冷却システム（図4）である。炭化フッ素系の冷媒の中に、ボードを浸けてある。システムは、特注ではなく市販のサーバを使うというポリシーで構築している。ファンレスのボードを使っているため絶対的な電力も非常に小さいという。自然対流の様子は大阪大学がサーモグラフの動画を公開しているとのことだが、松岡氏は「非常にきれいに、くるくると回る」と言う。

図4：自然対流 液浸冷却システム

　冷媒の粘性による違いについても紹介された。図5は、4種類の冷媒を使った際の、CPU 表面温度の違いを示している。Fluorinerto3283は43よりも粘りけがなく、シリコン20は50よりも粘りけがない。この図からは、「粘性の低いサラサラ系の方が冷却能力が高い」（松岡氏）ことが分かる。理由は、ボード上に出っ張っているCPU上の部品やコンデンサーが対流の阻害要因となり、粘りけが強いと冷媒がうまく流れないためだ。

図5：冷媒の種類による冷却効率の差

　また松岡氏は、さまざまなデータを示しながら、以下のようなポイントを挙げた。

• ノード冷媒に完全に浸かっている必要があり、氷山の頭のように少しでも出てしまうと、CPUの温度は急上昇する。
• サラサラの方がいいとはいえ、慣性モーメントの影響を考えるとサラサラ過ぎてもよくない。実用的には少しくらいは粘りがあった方がいい。

自然対流と強制対流のいいとこ取り、泡支援自然対流方式

　PUEや熱効率の観点で優れている自然対流だが、強制対流と比較したデータも紹介された。図6は、自然対流と強制対流のCPU表面温度を示したものである。当然ながら、自然対流よりも強制対流の方が温度が低い。そして、対流速度が速いほど（図では右にいくほど）、つまりファンの回転数を上げるほど、よく冷えていることが分かる。冷却能力を上げると、消費電力が増えてPUE値は悪化するという関係だ。

図6：自然対流方式と強制対流方式の冷却能力比較

　松岡氏が「よく冷えるがPUEが悪化する」という状態の解決策として提案するのが、「泡支援自然対流方式」（図7）である。冷媒槽の下部に金魚鉢で使うエアーポンプを配置するもので、ポンプのDCモーターの消費電力は1W程度なのでPUEにはほとんど影響しない。松岡氏は「泡は1L/min程度の少量しか出さないが、これが想定以上によく効く」と言う。紹介されたデータでは、自然対流よりも10℃程度下げることができていた。

図7：泡支援自然対流方式

　メカニズムとしては、泡が上昇すると泡があった場所が負圧になり、そこに冷媒が吸引される。要は、泡が上に行く動きにつられて、冷媒の対流速度が速まるということだ。ポンプで冷媒を押しているのではなく、「泡の上昇流が冷媒を吸引しているのがポイント」（松岡氏）だという。

　液浸方式の特徴を整理すると、以下のようになる。

強制対流方式：
　消費電力は大きいが、冷却能力も高い
自然対流方式：
　消費電力は小さいが、冷却能力は中程度
泡支援自然対流方式：
　消費電力が小さく、冷却能力も高い

　松岡氏は「泡支援方式が、電力的にも効率的にも非常に良い」と結論づけた。

　最後に、液滴方式について簡単に紹介された。冷媒に浸けるのではなく、冷媒を上からねらい打ちでぽたぽたと垂らす方法だ。松岡氏によれば「非常によく冷える」とのことで、実験では「PUE 1.02を切るのはそれほど難しくない」という結果だった。

　オープンイノベーションコンソーシアムでは、高発熱サーバの液浸システムとして、自然対流液浸方式と液滴方式を提案している。これにより、環境省が求めていたPUE 1.02は達成できたが、これは日本全国どこでも実現できるのだろうか。

　紹介された28年度事業は都内で行われたものだが、年間平均気温分布に照らしてみると、沖縄県を除けば日本中どこでも達成が可能だという。松岡氏によれば、気温の点からは「一番いいのは軽井沢」だということだが、たとえば中東などであっても、真夏以外であれば同じようなレベルでPUEを達成できるそうだ。