富士通、ビッグデータの負荷増減に対応した分散並列型の複合イベント処理技術を開発

　富士通株式会社と株式会社富士通研究所は16日、“ビッグデータ”の負荷増減に対応して分散並列処理する、クラウド技術に適した複合イベント処理技術を開発したと発表した。

　センサーデータや人の位置情報など、多岐にわたる大量の時系列データを高速に分析する技術の1つとして、価値のある情報をリアルタイムに引き出すための複合イベント処理技術がある。しかしこの複合イベント処理では、変動する大量の時系列データを高速に処理する必要があるものの、絶え間なく送られてくる時系列データをリアルタイムに処理しながら、メモリ上にある分析処理中のデータをサーバー間で高速に移動するのは技術的に困難だったため、処理を止めずに負荷の増減に対応するのが難しかったという。

　このため時系列データが大幅に増減することを事前に想定し、ピーク時に必要となるリソースで構成するか、一度複合イベント処理を止めて構成を変更する、といった対応を強いられていた。

　こうした課題を解決するために両社では、今回、複合イベント処理に分散並列処理技術を適用。処理を細粒度化し、その細粒度化された処理を実行中にほかのサーバーへ移動するライブマイグレーション技術、および移動させる処理候補を最適に選択する技術を開発した。

　これにより、時系列データの負荷増減にすばやく対応して、イベント処理全体をサーバー間で動的に拡張・縮退できるようになったほか、処理自体の高速化も実現している。処理性能としては、毎秒500万イベントを達成しており、これまでにない大規模な時系列データを、リアルタイムかつノンストップで解析できるとした。

　活用例としては、例えばクラウドやオンプレミス型システムで、大規模な時系列データを、処理に必要なリソースだけを使用して、リアルタイムかつノンストップで解析するサービスが可能になるとのこと。また柔軟な構成変更に対応できるので、厳密なリソースの見積もりが不要となり、スモールスタートも可能になるとしている。

　なお富士通と富士通研究所では、開発した技術の2012年度内の実用化を目指して取り組みを進める計画である。

分散並列型複合イベント処理の基本構成	分散並列型複合イベント処理技術の適用イメージ