注目の「ストリーム・プロセッシング」 高速データ処理の商用化近づく

　「ストリーム・プロセッシング」という新しいコンピューティング方式が注目されている。これまでのデータベースをベースとしたデータ処理と比べ、数十倍の性能を実現するという。システムが情報を収集しながら理解し、それに対応した処理を行う時代が近づいてきたようだ。

　米IBMは6月19日、ストリーム・プロセッシング技術「IBM System S」のプロトタイプを発表した。HPCwireなどによると、IBMがニューヨークに持つトーマス・J・ワトソン研究所で4年がかりで開発したもので、並列処理方式を利用して、データソースからデータを取り込みながら処理することができるという。

　System Sはストリーム・プロセッシングモデルを利用したソフトウェアフレームワークで、人工知能のようなスケジュール技術層を加えてあるという。これによって、処理をイメージ認識などの要素に分け、目的にあわせて処理要素をリアセンブルすることができる。従来のデータマイニングなどの手法とは異なり、アルゴリズムを用いてデータを分析し、優先順位をつけることで高速処理を実現するという。

　IBMによると、テキスト、音声、動画、GPS、RFIDなど構造化データと非構造化データの両方に対応。ハードウェアやプロセッサも問わないという。

　IBMが披露したプロトタイプは、800台のx86マシンを利用しているが、必要に応じて万単位のプロセッサに拡張できるようだ。大規模構成の場合、1秒間に数百単位のメッセージ処理が可能という。当初は、Linuxを搭載したブレードサーバーへの対応を考えているようだ。

　このストリーム・プロセッシングは、決して新しい技術ではなく、これまで米スタンフォード大などで研究が進められてきた。IBMでは今回のプロトタイプ完成を、実用化に向けた大きな一歩とみているようだ。

　ストリーム・プロセッシングの長所は言うまでもなく、高速な処理にある。Webサイト、ブログ、電子メール、動画と情報は絶えず増えている。ハードウェアは進化し、情報を効果的に活用する技術はあっても、多くの場合、情報の洪水にきちんと対応できてはいない。また、SOAに利用すれば、アプリケーションを動的にアセンブルできる。

　このような特徴から、ストリーム・プロセッシングはまず、証券取引などの金融分野でニーズがありそうだ。IBMによると、すでに政府機関が導入しており、証券会社も強い関心を持っているという（Wall Street & Technologyのブログ記事）。これは、IBMがSystem Sのプロトタイプ発表を、米ニューヨークで開かれた金融企業向けのITイベント「SIFMA 2007 Technology Management Conference and Expo」で行ったことからも明らかだ。

　証券業界ではすでにアルゴリズムトレードという処理手法が用いられているが、ストリーム・プロセッシングはこれを加速することになるだろう。取引所から入ってくるデータとともに、CNNのニュース映像、Reutersのテキストニュースなどを同時にリアルタイム処理し、取引指示を出す、といったことが実現しそうだ。

　ストリーム・プロセッシングは、このほか、環境、セキュリティ監視などの分野に適しているとされている。

　ストリーム・プロセッシングに注目しているのはIBMだけではない。米Googleは6月、高性能コンピュータソフトウェアを開発する米PeakStreamを買収しており、ビデオ検索分野でPeakStreamの技術を利用するといわれている。

　このほかにも、米StreamBase Systemsはストリーム・プロセッシングエンジンを2005年の「DEMO」で披露している。ハードウェアでは、米AMDがHPC専用のストリームプロセッサ「AMD Stream Processor」を発表しており、ベンチャー企業の米Stream ProcessorsもHPCプロセッサとして「Storm-1 SP16HP」を発表している。