日商エレ、Apache Sparkの課題を解決する米Levyxのデータ処理エンジンを国内販売

　日商エレクトロニクス株式会社（以下、日商エレ）は18日、米Levyx（レヴィックス）と販売代理店契約を締結し、同社のKVS（Key Value Store）エンジンを提供開始すると発表した。

　現在、大規模データの分散処理をインメモリで実現する「Apache Spark」利用が拡大しつつあるが、分散処理サーバーに実装可能なメモリ容量に制約があり、データ量が増大した際は、サーバーを増設するスケールアウト型で処理能力を高めていく必要がある。

　このためApache Spark利用時に、サーバー増設に伴う投資コストの増加、スケールアウトによるフットプリントの拡大、ランニングコストの増加、さらに分散処理サーバー同士のネットワーク帯域への負荷増大、といった課題が生まれているという。

　これに対してLevyxが開発した「Helium」では、データを分散処理サーバー上に搭載したフラッシュストレージ（SSD/NVMe）へメモリからスライドさせるため、テラバイトからペタバイト級のデータセットでも、少数の分散処理サーバーで高速に処理できるとのこと。性能面でも、フラッシュストレージを利用しながら、インメモリ処理において、DRAMと同等もしくはそれ以上のパフォーマンスを実現するとした。

　こうした特徴により、ラージスケールのデータセットを高速かつリアルタイムに解析/分析する必要があるアプリケーションに適しているとのこと。日商エレでは、主にファイナンシャルサービス、eコマース、ソーシャルネットワーキング、デジタル広告などの分野での販売展開を図り、Apache Sparkによるデータ分析基盤を検討している企業数社へのテスト導入を目指す考えだ。