「2016ラリタン・ジャパン セミナー」レポート

機械学習とゾーニング冷却でPUE1.0を目指す

　最初のセッションは大阪大学サイバーメディアセンター教授の松岡茂登氏による「クラウドを取り巻く状況と省エネ化の取り組み」。松岡氏は10年間省エネ化の観点からデータセンターを見てきた経験から、大手データセンターのPUEは改善が進んでいるが、全体の99.3％を占める中小のデータセンターではエネルギー効率が悪いままだと指摘した。エネルギー効率は空調、サーバー、電源の最適動作点などが複雑に関係しているため、PUEを最小にするために、松岡氏は4年前から環境省・省エネデータセンター事業のなかで、人工知能の機械学習によるデータセンターのエネルギー最小化に取り組んできた。そこで開発したAIエンジンのAugmented DCIMは大阪大学のスーパーコンピュータ管理に導入され成果をあげている。

大阪大学サイバーメディアセンター教授　松岡茂登氏

「AIエンジンでPUE1.1までは実現できるが、ここに壁がある。残りの10％は空調の問題で、現在は1.01を目指している」と、松岡氏は語った。

　現在は、サーバーを発熱量で高中低に分け、ゾーニングしたうえで、液浸、液滴、空冷の手法でそれぞれを冷やす実証サイトを構築し実験に取り組んでおり、AIとの組み合わせでPUE1.0に迫ろうとしている。

米国先進トレンドとしての三相給電

　続いてのセッションは、富士通株式会社サービスプラットフォーム戦略企画室の藤巻秀明氏による「国内外の最新DCの動向と、今後の日本DC課題と解決のヒント」。同氏は国内外の200近い先進データセンターを視察した経験をもとにデータセンターのトレンドを紹介した。日本国内の現在のデータセンター建設は中規模棟単位が増加している。これは東京オリンピックのために建設コストが6～8割程度上昇していることも影響しており、この傾向は2020年までは続くだろうと予測される。また、ラックの電力密度は3極化しており、ラックあたり6kWまでのコロケーションニーズと、20kWまでのハイスペックコロケーションニーズ、HPC/スーパーコンピュータ用の30～40kWに分かれている。海外に目を向けると米国でも3つのカテゴリーに分かれていて、大規模データセンターでは電力・熱密度が落ちているものの、小規模データセンターでは密度が高い。一方、データセンターの冷却方式として、ラックあたりの発熱量に応じた適切な冷却方式が選択される中、ここ1～2年は人工知能処理基盤として増加しているAI用サーバーのデータセンターでの冷却には高効率な液浸潤方式なども紹介された

富士通株式会社サービスプラットフォーム戦略企画室 藤巻秀明氏

　データセンターのラック給電方式については、国内では従来型として、降圧を繰り返して単相を提供する方式が主流であるが、米国では三相給電が主流になりつつある。給電の効率低下の主要因である変圧器を日本国内で標準的な単相給電では4回通過するが、米国で増えているラック三相給電であれば、2回で済ませることができる。現在のサーバーはユニバーサル電源が多く100～240Vに切り替えなしで対応できるため、入力電源電圧が高いほど高効率となる。三相給電にはデルタとスターの接続方式があるがどちらも単相と比較すると√３倍の皮相電力を供給可能で、データセンターの高密度化と低コスト化に貢献できている。

　三相給電は三組の単相電源の消費電力を極力バランスさせておく必要がある。そのため、留意点としては、ラック内三相給電に対応したインテリジェントPDU、パワー半導体出力UPS、230VACのPSE規格に準拠する電源ケーブルの3点をあげた。

　海外の三相交給電の事例は豊富で、藤巻氏は三相スター（Y）結線ラック直接給電やバスダクト給電、三相交流ラック直接給電とインテリジェントPDUによる電力給電、および温度監視との組み合わせなどの企業事例を複数紹介した。

ケーブルロックとサーキットブレーカーによる安定運用

　コーヒーブレークをはさんで登壇したヤフー株式会社の秋山潤氏は「事例紹介　ヤフー株式会社の成長を支えるインフラ構築現場の課題と取り組みの一例」と題し、同社データセンターでのインテリジェントPDU導入の実体験を語った。

ヤフー株式会社秋山潤氏

　秋山氏はヤフーのインフラ管理と運用を担当するサイトオペレーション本部のデータセンター運用技術チームに属している。日本最大級のポータルサイト「Yahoo! JAPAN」を運営するヤフーでは、データセンターとしてはグループ企業のIDCフロンティアのインフラを使用し、ヤフーサイドではラックから上のレイヤーの運用管理と、PDUなどの低レイヤー機器やツールなどを担当している。同社は国内数か所のデータセンターを利用しており、インテリジェントPDUは3500超を運用している。

　インテリジェントPDUの導入経緯として、IT機器の多くが100～240Vに対応しているため、ヤフーでは増床するデータセンターに対して、電力を高効率に利用可能な200V化する方針を設定し、それと同時に、計測も確実に行いたいとの判断があったためだという。

　しかし導入後、同社特有の課題として、サーバーを満載しているラックからの１台単位の移動が頻繁に発生するため、ラックからサーバーを取り外して移動する際に上下のPSU側の電源ケーブルが外れるといった事故の可能性が判明した。また、気付かぬうちにPDU側の電源ケーブルが緩むといった懸念も浮かび上がった。

　PSU側のC13に対する抜け止めケーブルは探せばあったが、PDU側のC14にはなかったため対策が必要となった。アウトレット側に後付する抜け止め防止器具をつける方法を検討したが、ケーブルメーカーによっては様々なプラグのバリエーションがありフィットしなかった。その際にラリタンに相談したところC14に対するロック機構付PDUの提案がされ、ベンダー選定の上、導入を開始した。導入後はしっかりと抜け止めできるようになり、運用は楽になったという。

　また、新しい課題として、社内で構築するクラウド環境が増加してくる一方、サーバーダウンの懸念が出てきた。その理由はラックに収納する台数を増やすためサーバーの電源をシングル給電としているためで、PDUのサーキットブレーカーが落ちると多数のサーバーが一気にダウンしてしまう可能性が示唆された。これを解決するため、アウトレットごとにサーキットブレーカーをつける方法を検討した。「ラリタンに相談したところ、対応可能だと回答をもらい、図面、価格を含めた提案を速やかに受け取れたため、2016年12月の導入プロジェクトにおいて納品される予定だ」と、秋山氏は語る。

　ラリタン社PDUのメリットとして、秋山氏は最大8PDUをカスケード接続でき、IPアドレスとスイッチポートの消費削減が可能になる点、PX3からはコントローラ部分のホットスワップ交換が可能なため、万一のトラブルの際にもサーバー無停止で、時間も自由にメンテナンスが行えるようになった点などをあげた。

「ラリタンはカスタマイズにも柔軟に対応し、PDU１本あたりのC13の個数やサーキットブレーカーの個数なども変更してくれる。 ラリタンは少量でも対応可否と価格感などを回答してくれるため非常に助かっている」（秋山氏）

　これまで導入経験のある他のPDUと比較すると、ラリタン製品はサーキットブレーカーのダウンやコントローラ故障などがゼロで、良好だという。すでに1000本以上のPDUを同社から導入したが、大きな障害もなく、台湾の工場も見学したが品質面は心配ないと力強く語っていた。

「PX3は運用者が必要な機能を網羅している。PDUも定期的な交換が必要であり、30A回路ではPDU内のサーキットブレーカーの監視も必要だ。インテリジェントPDUによるサーキットブレーカーの状態確認・監視とネットワーク経由での電流などの確認をこれからも行っていきたい。今後はKVMの導入も検討している」と、秋山氏は今後の運用への考えを述べた。

コンテナデータセンターのためのインテリジェントPDU

　講演のトリを飾ったのは株式会社インターネットイニシアティブ（IIJ）サービス基盤本部データセンター技術部の川島英明氏。「インテリジェントPDUの必要性と、IIJがラリタンを選ぶ理由」と題し講演を行った。総合的なネットワークソリューションプロバイダで2009年からクラウドを提供しているIIJは、国内21か所のIIJデータセンターを運営している。

株式会社インターネットイニシアティブ（IIJ）サービス基盤本部データセンター技術部 川島英明氏

「クラウド化の後はデータセンターの可視化が必要になった。電力計測はもともと契約電力の管理のためだったが、ラックあたり4kW程度を超えるときちんと設計しないとトラブルが起きる。ユーザー視点で見るとデータセンターを無駄なく使い切りたいと考えている」と、川島氏は現在のデータセンターの利用状況を説明した。

　サーバールームの電力設計も必要になり、データセンターごとの実利用値を把握して更新していく必要がある。その際の設計条件としてはUPS、分電盤、空調能力、分岐回路容量などがある。データセンターを無駄なく使い切りたければファシリティーの容量マージンを正しく把握し、利用状況をリアルタイムで可視化することで、設計との差異をチェックし、万が一の障害の際にも対応を迅速にすることが可能となる。電力や温度の可視化のやり方としては複数あるが、それぞれにメリット・デメリットが存在する。中央監視装置は、監視ポイントに比例してコストが増加し、他システムとのデータ連携が面倒。個別監視のための装置の取り付けは、センサーの取り付け箇所を考慮する必要がある。いずれにしても統合管理システムDCIM、今風にはIoT管理が必要になる。データセンター利用者の立場で、リアルタイムに可視化をしたい場合、インテリジェントPDUは有力な選択肢となるとのこと。

　IIJは他社データセンターのフロアを借りている拠点もあり、事業者であると同時に利用者という側面も持っている。利用者は中央監視のデータは使えないし、クランプをつけられない。また、独自に監視装置を配線することも困難だ。このため、利用者がリアルタイムに可視化したいのであればインテリジェントPDUが適している。

　IIJの旗艦である松江データセンターパークはコンテナ型データセンターで、建築物でないため、内部に人が入らない運用を実現するために、インテリジェントPDUがどうしても必要になる。そこでIIJではコンテナモジュールIZmoをリモート管理するために、ラリタン製インテリジェントPDUを約600台導入している。これにより、コンテナに立ち入らずにコンセントごとに電源のON/OFF制御や消費電力の把握が可能となっている。

　IIJはビル型データセンターも提供しているが、こちらもインテリジェントPDUがあれば管理しやすい。USBカスケード機能でコストの削減も可能だ。

　なぜラリタンなのか？　IIJのラリタン製品の最初の採用は2011年に松江でPX2を選定したときだった。IIJではPDU採用に際し、様々な機能評価を行い、さらに、ストレステストを実施した上で、ラリタンのPX2が採用された。その後、PX3シリーズが投入されたため、再度他社製品も含めて機能確認書で100項目を提示し4社のメーカ製品から評価・選定をやりなおしたが、最も優秀な評価結果となったのが、ラリタンのPX3だった。その後松江で評価機を用いてストレステストを行った。「ストレステストも工数がかかるため、機種を絞り込んでからの実施となった。その結果、おおむね問題なしという結果になった」（川島氏）

　実際の評価ポイントとして、コントローラ部のホットスワップが可能になった点や、リレーが電磁式からラッチ式（双安定）になった点などに加え、PX2から継続している計測精度±1％や豊富な電力計測項目を持っている点などを高く評価している。

　IIJは海外へのコンテナ型データセンター導入を推進しており、ラリタンのインテリジェントPDUを活用し、日本からリモート管理するサービスを提供して付加価値を高めている。また、ロシアにもコンテナを導入しており、コンテナは9000km以上の旅をして、マイナス30°の極寒の地で稼働中だが、ロシアのGOST-Rという規格をクリアしているラリタン製PDUが使われている。

　ラリタンへの今後のリクエストとしては、さらに小型化を進めてほしいと注文をつけた。「インテリジェントPDUは通常のPDUと比較して大きいため、ラック内に200V30Aで4本入れるのは限界になってきている。サーバー保守性やエアフローの障害も起こりうるため、さらなる小型化が望まれる」（川島氏）。

日本における三相給電普及の可能性

　パネルディスカッションは竹永氏の司会で、4人の講演者がプレゼンターとして壇上に並んだ。この日のセッション中にも何度も登場した三相給電の話題で、藤巻氏が「米国の先進データセンターではほとんどが三相でラックまで給電していて、当たり前感が強かった」と述べ、今後の日本国内普及に話が及ぶと、GPUサーバーやAIの普及で20kW以上のラックのニーズが高まると、三相四線より先に、三相三線200Vから普及が開始されるのではないかとの予想が議論された。川島氏は「IIJのコンテナ型データセンターの新しいバージョンでは三相四線AC400Vを採用しており、約30％のコストダウンと25％の損失低減を実現している」とその効果を語った。

　米国で主流となった三相給電とそれを支えるインテリジェントPDUのメリットが把握でき、多くのデータセンター関係者にとって、今後のセンター運用を考えるうえで有意義なセミナーだった。