クラウド&データセンター完全ガイド:新データセンター紀行

IDCフロンティアが東京府中にハイパースケーラー向け大規模データセンターを構築

IDCフロンティアは2020年12月1日、ソフトバンクと共同で東京都府中市に新しく東京府中データセンターをオープンした。大手クラウドサービスプロバイダー(ハイパースケーラー)の需要に対応した大規模データセンターで、約4000ラック相当の広さと最大50MWの受電容量を持つ。IDCフロンティアとしても、もちろんソフトバンクグループ全体でも最大規模のものだ。 text:柏木恵子

東京府中データセンター概要

 現在、データセンター建設は二極化している。コネクション重視のセンターは相変わらず大手町周辺に立地する必要があるが、そうでない場合は広い土地が確保できて地盤が堅固であるなどの条件を満たす場所に大規模データセンターを構築するのがトレンドだ。首都圏では、大手町から約30km圏内の三多摩地区(多摩、府中、三鷹)と千葉県の印西で、各社の新規データセンター建設が進んでいる。IDCフロンティアの東京府中データセンター(写真1)もそのトレンドに沿ったもの。周辺には金融系のデータセンターが複数建っているなど、地震、水害などの災害リスクが低いことはお墨付きという土地柄である。

東京府中データセンター外観

 東京府中データセンターでメインの顧客ターゲットとして想定しているのは、外資系メガクラウド、OTT(Over the Top)と呼ばれる大手コンテンツ配信系事業者、DC in DCだが、従来からのコロケーションも提供している。

 特に、GPUサーバはどこのデータセンターでも置けるというわけではなく、ラック供給電力、ラックの奥行きサイズなど、特別な仕様が必要となる。IDCフロンティアはNVIDIAの「DGX-Ready Data Center」プログラムに参画しており、東京府中データセンターはそういう高負荷サーバにも対応するのが特徴だ(写真2)。

サーバラック

 建物は、オフィス棟(C棟)と機器室棟(A棟)を渡り廊下でつなぐ構造。C棟は耐震構造、A棟は積層ゴムによる免震構造で、震度6強の地震まで対応する設計になっている(写真3)。段階実装のため、2021年4月現在、A棟は3フロアが実装済みだ。

写真3:積層ゴムによる免震装置が設置された免震層

ハイパースケールなファシリティ

 大きな特徴のひとつである受電容量だが、66000Vの特別高圧受電で、25MWの受電設備を2基設置する。段階実装なので、現時点では1基が入っている。これを特高トランスで6600Vに降圧して館内に送電する。

 2系統受電しているが、A系は赤、B系は青のラインを入れ、一目で分かるようになっている(写真4)。また、系統別に完全に別室に受変電設備を置いているため、万が一どちらかで火災等が発生しても、もう片系には影響がない構造になっている。

写真4:受変電設備室

 防災設備としては、高感度煙探知機とハロゲン化物による消火設備を設置しているが、基本的には手持ちのCO2消火器で初期消火する。どうしても手に負えなくなったら、室内に人がいないことを確認して、手動でハロゲンガスの消火設備を起動する。

 非常用発電機はA重油を使ったガスタービンで、容量は6000kVAと最も高スペックのものが入っている。かなり巨大で、IDCフロンティアのデータセンターでは初めて採用したものだという(写真5)。A棟内に3基設置するスペースがあるが、今後の需要増加に備えて、中庭に9基分のスペースを準備している。燃料タンクは地下にあり、48時間の無給油連続運転を保証。現時点ではまだ収容機器が少ないので、100時間程度の運転が可能だ。

写真5:非常用の超大型発電機

 外部電源喪失時などに、非常用発電機から安定給電が始まるまでの約1分間は、UPSで電力を供給する。UPSは各マシン室の隣に位置する(写真6)。2つのマシン室で電気機械室を挟み、各マシン室の反対側の両端が空調機械室。それが廊下を挟んで南北に2セット、合計で1フロアに4マシン室という配置だ。広くて景色が単調なので、迷わないように廊下にも色分けした帯が入っている。

写真6:電気機械室。UPSもA系B系の色分けがされている

 空調は冷媒として水を使用する壁面吹き出し方式で、ラックはスラブに直置き。ホットアイルキャッピングで、廃熱は天井から空調機械室に戻す(写真7、8、9)。

写真7:冷気吹き出し口のルーバー
写真8:ホットアイル側をキャッピングし、暖気は天井裏から空調機械室へ
写真9:空調機械室は設備更改しやすいように、機器の倍の幅がとってある

 現状の負荷は屋上の空冷チラーで賄っている(写真10)。空冷チラーは冷却能力を段階的に増やすことが可能だが、屋上に設置できる台数は限られているため、将来的には地下にターボ冷凍機を増設することで終局まで賄う設計となっている。空冷チラーは1台当たりの冷却能力は低いが安価、対するターボ冷凍機は1台当たりの冷却能力は高いが高価なため、両方を適正なタイミングで投資し、ハイブリッドで運用することで運用・電気代コストの低減を狙っている。

写真10:屋上チラー

セキュリティは利用者の利便性を追求

 セキュリティでは、入館からラック解錠までを生体認証で行う点が特徴だ。

 初回は顔と指静脈の登録を行うが、エントランスロビー(写真11)に登録機があり、運転免許証があればセルフで登録できる。登録後1分ほどで顔パスでフラッパーゲートが開くようになる。これは、利用者の利便性を考えて導入したものだが、結果的に人との接触なしに出入りできるため、コロナ対策としてもメリットがある。また、鍵の貸し出しや管理などの手間が不要なため、運用者の負担も減る。

写真11:エントランスロビー

 マシン室には前室がついていて、共連れ防止になっている。まず廊下で指の静脈認証を行い、前室の扉を開ける。入った扉が閉まると、前室内の顔認証でマシン室側の扉が開く。指静脈で開けた人ではない別人が前室に入ると、「共連れを検知しました。退出して初めからやり直してください」とアラート音が鳴る。また、機材などを持ち込む場合、手がふさがっていてもそのまま通れるように前室の扉は自動ドアで、台車ごと入れるようにセンサー位置が少し高めになっている。利用者の利便性を考えて、きめ細かい最適化がされている印象だ。

 マシン室に入ると、壁にラック解錠用の顔認証装置が設置されている(写真12)。認証すると、契約しているラックの一覧がタッチパネルに表示されるので、開けたいラックの番号、フロント側かリア側かにチェックをいれ、解錠ボタンを押せば、ラックが解錠されて赤く光る仕組み。多数のラックを契約していても、楽に解錠できる。施錠も同様の操作で行う。

 物理的な鍵を手元に持っていないと、うっかり開けたまま出てしまう人もいそうだと心配になるが、解錠用のタッチパネルに「ラックの閉め忘れはありませんか」というメッセージが表示されていた。退出するにはこのカメラの前を通って前室からチェックアウトするので、これが目に入れば閉め忘れずにすみそうだ。

写真12:ラック解錠用顔認証装置

提供サービス

 東京府中データセンターでは、マシン室単位で契約するデータホールサービスと、ラック単位で契約するコロケーションサービスを提供している。データホールサービスの部屋は、159ラック相当と172ラック相当の2種類の広さがある(写真13)。構築中の上層階では、もう少し狭い部屋も作られる予定だ。スペースと空調と電力のみの提供で、中のレイアウトは利用者が自由にデザインでき、ネットワークも利用企業側で引いてくることになる。このため、東京府中データセンターはキャリアフリーでネットワークを提供している。

写真13:データホールサービスで提供する機器室

 また、データホールサービスの場合は、セキュリティの認証装置を持ち込むこともでき、自社が標準で使っている認証装置に変えることが可能だ。空いていれば1フロアの4室全部を契約して、そのフロアには他社の人が立ち入らないようにすることもできる。

 コロケーションエリアのラックには、あらかじめ24口コンセントバーが4本設置済み。1Uサーバを44台フル搭載して冗長電源をとっても、まだコンセントに余裕がある。その場で電流値を確認できるため、負荷が偏らないようにバランスを見ながら機器を搭載していくことができる。また、フロント側はラック列間が2mあいているため、作業しやすい(写真14)。

写真14:コロケーションエリアのラック

 ラック当たりの供給電力は、現在稼働している一般エリアで標準7kVA、最大10kVA。さらに、標準15kVA、最大20kVAの高負荷エリアを構築中だ。

 電源はバスダクトを採用しているため、分岐ボックスを追加設置するだけで100V電源を200Vに変更できる。一般的には電気工事の業者に依頼するため2~3週間かかるが、IDCフロンティアではデータセンター運用のエンジニアでもこの作業を行うことができるため、急いでいる場合は非常に短納期で提供できるという。

 その他、キャスター付きの机、モニターやキーボード、工具、マニュアルなどを収納する小物コンテナ、棚板やブランクパネルなどを、無償で貸し出している。

 搬入用のトラックヤードは南側と西側の2カ所にあり、複数利用者の同時搬入が可能。エレベーターは、4t対応の貨物用を含め、5基設置されている。その他、施設としては、キッティングルームの、オフィス、会議室、リフレッシュスペースなどがある(写真15)。

写真15:オフィス

 もともとIDCフロンティアが強みとしていたオンサイト運用代行サービスも、引き続き提供する。ネット会議サービスを使って、Webカメラで確認しながら遠隔から指示することも可能だ。

運用負荷を軽減するさまざまな自動化

 東京府中データセンターでは、ラックの解錠までを顔認証にしたことにより、入館用ICカードの貸し出しやラックの鍵の貸し出しが不要になり、利用者の利便性を高めている。これは、鍵がすべて戻ってているか確認するなどの手間がなくなるため、運用側の負担軽減にもなっている。もうひとつ、自動化によって運用負荷を軽減しているのが、UPSの蓄電池の監視だ。

 UPSのキャビネットの中には、大量の鉛蓄電池が詰まっている。この蓄電池の劣化による障害を防ぐため、一般的には数カ月に一度程度の頻度で、電圧や内部抵抗をテスターでチェックする。ただし、大規模データセンターでは鉛蓄電池の数が1万を超えることもあり、3カ月に一度チェックするために、一年中チェックして回らなければならないこともある。

 そこで東京府中データセンターでは、各蓄電池にセンサーをつけ、電圧・内部抵抗・温度のデータを常に収集している(写真16)。センサーの電源は蓄電池自身から取り、収集したデータはキャビネットの扉内側に設置した無線アンテナを経由して集積装置に集められ、運用監視室に伝送する。監視室ではグラフなどで表示していて、劣化している蓄電池があればアラートが上がる。自動化によって運用負荷が軽減されるだけでなく、常時モニタリングしているので、数カ月に一度手動で計測していたのに比べて信頼性が高まるというメリットもある。

写真16:UPSの蓄電池にセンサーを設置

ソフトバンクグループのシナジーと今後の展開

 IDCフロンティアは、ソフトバンクグループで法人向けITインフラを提供する子会社だが、グループ内には、国内3大インターネットエクスチェンジ(IX)のひとつBBIX、ダークファイバー敷設専門のビー・ビー・バックボーンなどがある(図1)。つまり、回線を陸揚げしてからデータセンターまで、グループ内ですべて提供できるわけだ。海外の事業者は、データセンターの建物や設備だけでなく、本国から現地サーバまでのアクセスがどうなっているかを気にしているため、そういう点が強みとなりそうだ。

図1:IDCフロンティアとソフトバンクグループ総合力の強み

 またIDCフロンティアでは、データセンターからネットワーク、クラウド、データセンター間接続などさまざまなレイヤのサービスを提供しており、総合的に提供できる(図2)。さらに現在、他社データセンターや他社クラウドなどとの接続にも注力しているところだという。

図2:さまざまなレイヤのサービスを提供

 コロナ禍によるニューノーマルならではの動きとしては、データセンターとして使うだけでなく、オフィスを一緒に借りて、都心部にあった本社機能を移転したいという相談が増えているという。東京府中データセンターには、DC in DCで利用する場合などにオフィスとして利用可能な、かなり広いオフィススペースがあるが、データセンター事業者以外でも需要があるようだ。データセンターであれば建物も堅牢で決して停電しないので、事業継続的な意味でもメリットがある。東京府中データセンターは元々保険会社がデータセンター兼オフィスとして使っていた建物をフルリノベーションしており、物流倉庫のリノベーションやマシン収容に特化した建物に比べて居住性もいい。

 今後の展開としては、何と言ってもリリース予定の高負荷エリアが目玉だ。1ラックあたり実効で15kVAを提供しているコロケーションサービスは国内にほとんどなく、それが230ラック提供される。壁面吹き出しの空調のみでは冷却能力が不足なので、ラック空調を採用しているという。

 現在、一般エリアでは既にNVIDIAの最新型GPUサーバが稼働しているが、1ラックに1台しか搭載できない。これが、高負荷エリアなら3台入るようになるのだという。GPUサーバの置き場所に困っているという企業は、刮目して待っていただきたい。

表1:IDCF東京府中データセンター設備概要
所在地東京都府中市
開所2020年12月
建物仕様 構造SRC構造
     階数地上7階、地下1階(オフィス棟 地上3階、地下1階)
   延床面積50,000㎡
    床荷重1000kg/㎡(高負荷エリア2000kg/㎡)
   免震構造基礎免震(積層ゴム)
受電設備特別高圧ループ受電方式、最大受電容量50MW
非常用電源設備UPS N+1、ガスタービン発電機 N+1(48時間無給油連続運転)
空調設備空冷チラー・ターボ冷凍機による水冷壁吹き出し
火災対策設備火災報知器、超高感度煙検知器、ハロゲン化物消火設備、CO2消火器
認証方法顔認証、静脈認証
その他セキュリティ24時間警備員常駐、監視カメラ
ラック供給電力実効7kVA(実効15kVAの高負荷エリア構築中)
ネットワークキャリアフリー、L2/L3ネットワークを提供
その他アメニティリフレッシュスペース、会議室・オフィスエリア、徒歩圏内にコンビニ・飲食店・ホテルあり