イベント
【AWS re:Invent 基調講演】21世紀のITはリソースの制約から自由になるべき
（2012/12/4 00:00）
データセンター、ネットワーク、ストレージ、データベース、ロードバランサー、その他のコンピューティングリソースも含め、すべてのITリソースは本来、制御可能である。にもかかわらず、いつまでも古い時代の慣習に引きずられてリソースの制約に縛られているのはばかばかしい。21世紀のITはリソースフォーカスからビジネスフォーカスにシフトすべきだ――。
11月29日（米国時間）、米ラスベガスで開催された米Amazon Web Services（AWS）のユーザーカンファレンス「AWS re:Invent」の2日目基調講演において、同社CTOのヴァーナー・ボーガス（Werner Vogels）氏はこう切り出した。クラウドコンピューティングでITの世界を一変させたAWS、その技術部門を統括する同氏が描く“21世紀のIT”はどんな姿をしているのだろうか。
21世紀のITアーキテクチャに必要な4つの要素
ボーガス氏は21世紀のITアーキテクチャが備えているべき重要な特徴として、以下の4つを挙げている。
・制御可能であること（Controllable）
・障害からの回復が柔軟であること（Resilient）
・変化にも十分に適応できること（Adaptive）
・データドリブンであること（Data Driven）
まずボーガス氏は、Controllableの定義として「小さな単位の、ステートレスなコンポーネントが疎結合されていること」「アプリケーションやプロセスが自動化されていること」「コストを意識した設計であること」を挙げる。徹底した自動化を進めるには、可能な限りリソースは疎結合な状態に保っておくべきで、環境が変化した場合でも柔軟かつ迅速に最適化が図られる。それはコストの抑制にもつながる。
ボーガス氏はここで、「決して既存のITインフラストラクチャに何か物理的なリソースを追加しようと思わないでほしい」と訴える。2010年11月10日に最後の物理サーバーが稼働を止めて以来、Amazonでは一切の物理サーバーは動いていない。
「かつてサーバーと呼ばれていたもの、それはすべて小さなソフトウェアコンポーネントに分割可能だ」とボーガス氏。ITインフラの肥大化は必ずコストの上昇を伴う。ビジネスの拡大とITコストの増大が常にひもづけられているような時代は終わりにするべきであり、ITアーキテクトがコストを意識した設計を行えば、自然と物理インフラの拡張は対象外になるはずだという。
「私はこれまでの人生で数えきれないほどのサーバーをハグしてきた。だからこそ言える。サーバーは決してハグを返してくれることはない。それどころかわれわれを憎んでくる」とボーガス氏。物理サーバーの側から人間に歩み寄ることはないと繰り返す。
次に障害からの回復について。ここで同氏が挙げたポイントは「顧客を守ることが最優先」「アベイラビリティゾーン（AZ）は最低でも2つ」「セキュリティは最初からアプリケーションに統合する」「ひとつひとつの障害にとらわれない。障害は予期しないときに必ずやってくる」というもの。
自然災害がデータセンターを破壊する、ロードバランサーやルータが異常なパケットを吐く、誰かがいきなりケーブルを引き抜く、停電が発生する、サーバーがクラッシュする、ディスクが急に回転を止める――などなど、突然の障害という事態は誰にも止めようがない。ならば障害は必ず発生するものと理解し、発生した場合、まず顧客への被害をどう食い止めるか、その対処法を検討しておくべきだとする。
Amazon S3では3つのAZを運用しており、AZ内だけでなくAZ同士で連携することによって、99.99999999％という高い可用性を担保している。
「障害とは形を変えたデプロイのようなもの」とボーガス氏。だからこそ障害を前提にし、いかいに迅速に回復するかを考慮したシステム設計が重要になるというわけだ。
「（可用性を高めるために）やるべきことは、ビルド、テスト、インテグレート、デプロイをひたすら繰り返すこと。Amazon.comでは、平均で11.6秒ごとにデプロイを行い、1時間で最大1079回にもなることがある。同時にデプロイするホストの平均数は1万、最大では3万にもなる」（ボーガス氏）。
平均的なオブジェクトサイズを想定してシステムを設計するのは危険
変化への対応については、まずAmazon S3の拡張を例に、ストレージサービス部門のバイスプレジデントであるアリッサ・ヘンリー（Alyssa Henry）氏により説明が行われた。
ストレージサービスのAmazon S3は、2006年のサービスローンチの際、どのくらいの需要があるのかまったく見当がつかなかったという。
ヘンリー氏は「最も多いタイプのワークロードは何か、オブジェクトはどのくらいの頻度でアクセスされるのか、オブジェクトの寿命はどのくらいなのか、オブジェクトのサイズはどの程度なのか、1秒間のトータルリクエストは――。すべてがわからないことだらけだった。何もわからない、ということだけがわかっていた（Uncertain is certain.）」と振り返る。
だからこそ「平均的なオブジェクトサイズを想定してシステムを設計するのは危険」という結論を得た同氏は、オブジェクトの件数を200億と想定してS3を設計する。当初、この数字は膨大過ぎるという指摘もあったが、わずか9カ月でS3のオブジェクト数は30億に膨れ上がり、2012年現在に至っては1兆を超えている。
ボーガス氏はヘンリー氏の説明を受けて「わからないのであれば、無駄な推測はしない（Assume nothing.）」と強調する。これは先の障害からの回復に対する考え方とも共通する。どんな障害が起こるのか、オブジェクトはどのくらいのサイズ/件数になるのか、そういった“How”を気にするべきではなく、障害は起こるもの、オブジェクトもトラフィックも変化するもの、という前提に立ってサービスを設計すべきといった、AWSのフィロソフィーが伝わってくる。
また、ボーガス氏は可能な限りオブジェクトを柔軟に振る舞わせるためにレイトバインディングを強く推奨している。
「インスタンスのタイプに最初からとらわれるのはナンセンス。あとから自由に変更できるようにしたほうがいい。ハードウェアリソースの制約にとらわれないキャパシティプランニングのためにもレイトバインディングは適している」（ボーガス氏）。
最後のデータドリブンに関してはAmazonのDNAとも言える主張だろう。ボーガス氏は「常に、すべてを計測せよ」「平均にこだわらず、すべての数値の分布をチェックせよ。特にワーストケースは念入りに」「すべてのログを取れ」と訴える。
すべてのデータを取り、すべてのチェックを行い、すべてを記録する。よくやりがちなミスが平均的なユーザーの動向を中心にサービスを組み立てることだとボーガス氏。
「データがなければ、あなた方は何も行動できない。そして平均値というデータは全ユーザーの50％もカバーしない。すべてのデータを精査しなければ、長期にわたってサービスを維持できない」と強調する。
ビッグデータ時代のための2つの新サービス
ボーガス氏はこの基調講演の壇上で、ここで挙げた4つの特徴に沿ったAWSの新サービスを2つ発表している。Amazon EC2の新しいインスタンスタイプ「Cluster High Memory（cr1.8xlarge）」「High Storage（hs1.8xlarge）」と、さまざまなデータソースと連携できるオーケストレーションサービス「AWS Data Pipeline」だ。
Cluster High Memoryは240GBのRAMと240GBのSSD（120GB×2）という構成で、ここ最近ニーズが増えているインメモリアプリケーションのために設計されたインスタンス。High Storageでは117GBのRAMと24のハードディスクからなる合計48TBのディスク容量が提供される。いずれも増え続けるビッグデータ分析の需要に応えるために用意されたインスタンスだ。
Yahoo! Pipelineにも似たイメージのAWS Data Pipelineでは、DyanmoDBやS3、Elastic MapReduce、Redshiftといったさまざまなサービスからデータを収集/分析したり、クラスタを生成するといった作業がドラッグ＆ドロップで簡単に実現する。AWSのサービスだけでなく、サードパーティ製品やオンプレミスな環境との接続も可能だ。
「データドリブンなワークフローのためのオーケストレーションサービス。分析タスクをスケジューリングし、自動化も簡単に実現する」とボーガス氏。データドリブンなサービスを指向するAWSらしい新サービスといえる。
AWSで短期間でビジネスを飛躍させたPinterestとAnimoto
基調講演では、AWSの代表的なユーザーとして名前が挙がることが多いPinterestとAnimotoのトップが登場し、それぞれのビジネスがAWSでいかに飛躍したかを披露している。
・Pinterest
クラウド上で写真共有サービスを提供するPinterestにとって、最も重要なのはフレキシビリティ、スケーラビリティ、メジャーラビリティの3点。80のWebサーバーを自動化し、トラフィックの変化に応じてキャパシティをコントロールしている。また、AWSのリザーブドプログラムとスポットプログラムを組み合わせ、運用コストの大幅な削減に成功している（オペレーションリード ライアン・パーク氏）。
・Animoto
ユーザーが投稿した写真や動画から自動でスライドショーを作成するサービスを提供するAnimotoは、ローンチした2007年当初、自前のサーバーでサービスを提供していたが、「まったく愚かな投資だった」と振り返る。
AWSに変更してからはごく短い期間で100インスタンスから5000インスタンスに増やすことができた。特にGPUレンダリングのパフォーマンス向上がめざましく、どんな長さのビデオでも2分以内にレンダリングを終えることが可能になっている。自社のコンピテンシーをサーバーを構築するのではなく、“すばらしいビデオサービスの提供”に集中したことが成功の要因（CEO ブラッド・ジェファーソン氏）。
基調講演の最後、再度、21世紀のITが備えているべき4つの条件を掲げたボーガス氏。そこに共通する視点は、「ハードウェアの制約にとらわれる時代、人間がすべてをコントロールする時代は終わった」というものだ。
物理的なリソースに縛られたシステムでは、ビジネスは必ず限界を迎える。また、人力に頼り過ぎることは障害からの回復を大幅に遅らせる。Animotoのように、コンピテンシーは主力ビジネスに集中し、インフラの拡張はクラウドに任せることで、ビジネスフォーカスなシステムを構築できる。そのための環境はAWSが提供する――。
クラウドコンピューティングを生み出し、いまなおトップを独走するリーダーが言い放つ言葉だからこそ、強い説得力を感じさせる。顧客のニーズを的確にとらえた新サービスのリリース攻勢からも、守りに入る姿勢はみじんも感じられない。クラウド市場はこれからもAWSが開拓していく、そんな強い意志表示を見せつけられた基調講演だった。