「26時間の処理が2分で終わる」、ニューヨーク証券取引所がDWHアプライアンスの導入効果を披露

NYSE EuronextのCDO（Chief Data Officer）、スティーブ・ハーシュ氏

　「2006年当時で120TB相当のOracleデータボリュームを持っていたが、さらなる成長を見込んでおり、製品の限界を超えるのではないかという状況だった。そこで、Netezzaに声をかけた。スケーラビリティとパフォーマンス、信頼性、シンプルさのバランスが最善だったからだ」―そう語るのは、NYSE EuronextのCDO（Chief Data Officer）、スティーブ・ハーシュ氏。今回は、膨大なデータを取り扱う責任者である同氏に、データウェアハウス（DWH）アプライアンスの選択に関する話を聞いた。

　NYSE Euronextは、ニューヨーク証券取引所を運営するNYSE Groupと、欧州の証券取引所を運営するEuronextが、2007年に合併して誕生した。7カ国で6カ所の株式市場と、8カ国のデリバティブ（金融派生商品）市場を運営している同社が扱うデータ量は、1日あたり30億件、約1TBという膨大なものだった。さらに、ニューヨーク証券取引所では2005から2006年にかけて、市場の動向にあわせて、市場モデルそのものを抜本的に変更したが、「新しいデータセットに直面し、その結果、それまで使っていた技術では対応しきれなくなった」（ハーシュ氏）というのが、DWHアプライアンス導入を検討したもっとも大きな理由だという。

　検討にあたっては、さまざまな製品のPoC（導入実証）を行ったが、もっともバランスが良かったのが「Netezza Performance Server（NPS）」だった。ハーシュ氏は「確かに、スピードはあるけど信頼性がない、スケールできる代わりに信頼性が落ちる、といったものはあったが、NPSは性能、信頼性、シンプルさのバランスが最善だった」と、選定のポイントを振り返る。

　こうしてNPSを導入した結果、26時間かかっていたリサーチ分析用の詳細クエリが2.14分に、7分かかっていた単純なフルフロア・クエリが5秒に短縮された。ハーシュ氏は、この効果を「ニューヨーク証券取引所では、1日分のデータをバッチでロードし、その後に監視のアプリケーションにかけるのだが、一番大きなボリュームの日は26時間かかっており、リアルタイム性はまったくなかった。これが今は2分でできるようになり、ほぼリアルタイムの処理が可能になっている」と説明する。またクエリ処理の速度だけでなく、データロードのスピードが速い点も効果があったとした。

Netezza Performance Server

　こうしたパフォーマンス面での効果もさることながら、「導入がシンプルかどうかは実際にやってみないと分からないが、PoC段階でそれが確認できた」とハーシュ氏が述べるように、導入が容易だったことも、NPSを選択した一因だった。実は、既存システムの動作と並行して新システムへの切り替え作業を行っていたのだが、あと2カ月切り替えが延びていたら、既存システムの強化に投資をしないと、データ量をさばけないというところまで逼迫（ひっぱく）していたのだという。しかし、アプリケーションの書き換えを行う一方で、サードパーティ製のツールも併用して、1日に26TBのデータ移行を実現。稼働を間に合わせたことで、「数百万ドルの節約にもなった」（ハーシュ氏）のである。

　導入時には、Oracle Database時代に利用していたいくつかの機能が足りなかったものの、6カ月の間に機能が反映されたほか、「Netezza側が自分たちでコードを作り込んで使える仕組み（Onstream関数）が用意されているので、問題はなかった」のだという。

　一方、DWHアプライアンスへの変更により、人員の効果的な配置も実現した。「チームの多くがOracle技術者であったため、新しい技術に興味を示すかどうかという点を、最初は懸念したが、それは杞憂（きゆう）だった。管理者としての作業軽減が図れることも見えてきたし、実際にチューニングにかける時間を減らせたため、ほかの業務に時間を回せるようになった」とハーシュ氏は効果を説明。「Oracle時代の1/3で環境を運用できるようになった」とした。

　なお今後については、欧州の各市場に向けて導入を進めており、ロンドン以外の証券、デリバティブ市場については9月に稼働を開始。唯一残ったロンドンについても、2010年第1四半期には稼働を開始する予定だ。また、ニューヨーク証券取引所のArca市場に導入されている「NPS 10400」を「同 10800」へアップグレードする作業も行っているという。

　さらに、IBMのブレードサーバーなど汎用的なコンポーネントを採用した次世代アプライアンスの「TwinFin」も現在検証中。ハーシュ氏は「NPSは独自のハードウェアを使っていたため、さまざまなコンポーネントで進化があっても、それを活用できないという懸念があったが、TwinFinでそれが払しょくされた」と、路線変更を歓迎する。また、「提供を予定している新型のうち、高密度型については、ストレージ容量増加の際などに検討の余地があると思っている」とする。

　もちろん、Netezza以外の製品についても検証は随時行っているとのこと。「いったんアプリケーションを改修したため、移行作業は以前ほど手間がかからないだろう。今のところは最善のソリューションを使っているとは思っているが、Oracleとも話はしているし、かつては価格面で折り合えなかったTeradataも検討する余地が出てきた」との見解を示し、最善のソリューションを今後も追求する姿勢を見せている。