ニュース

日立、FPGAの内部メモリを活用した並列処理によりデータ分析速度を最大100倍に高速化する処理技術を開発

 株式会社日立製作所(以下、日立)は3日、ハードウェア(FPGA)の内部メモリを活用してデータを高速に処理するためのデータベース管理システムと、FPGA内でデータを高速に並列処理する技術を開発し、データ分析速度を最大100倍高速化することに成功したと発表した。

 日立では、大量のデータ分析において、データ読み出し処理の性能はフラッシュストレージにより向上したものの、データ分析処理がデータ読み出し処理の速度に追い付かず、その性能向上がセルフサービス分析の課題となっていたと説明。この課題に対応するため、FPGAの内部メモリを活用してデータを高速に処理するためのデータベース管理システムと、FPGA内でデータを高速に並列処理する技術を開発し、データ分析速度を最大100倍に高速化することに成功した。

リアルタイムデータ分析システムの構成と開発技術の詳細

 FPGAは高速な内部メモリ(数MB)を備えているが、データ分析処理に適したカラム型データベースで使用されるデータ格納形式では、データの圧縮ルールや格納位置などを示すデータ管理情報のサイズがFPGAの内部メモリより大きいため、低速な外部メモリに格納する必要があった。そこで、FPGAの内部メモリのサイズに、カラム型データベースのデータ管理情報が収まるよう、データベースを細分化してフラッシュストレージ内に保持し、データ管理情報をFPGAの内部メモリで処理するデータベース管理システムを開発した。

 データを高速に並列処理する技術としては、一定の個数ずつ順番に処理することができるカラム処理方式を開発するとともに、データを選択するデータフィルタ回路、およびデータをグループ分けして合計値や平均値などを算出するデータ集約演算回路をFPGAに実装することで、並列化処理を実現した。

 また、開発した2つの技術を、日立のグループ会社である米Pentahoが開発したビジネス分析ソフトウェア「Pentaho Business Analytics」と、データを格納するフラッシュストレージと組み合わせることで、リアルタイムデータ分析システムのプロトタイプを構築した。

 日立では今後、超高速データベースエンジンを搭載した、高速データアクセス基盤「Hitachi Advanced Data Binderプラットフォーム」に今回の技術を導入し、データ分析処理の一層の高速化をめざすとともに、ビジネスの現場においてリアルタイムデータ分析システムの検証を行っていくとしている。今回の成果については、8月9日~11日に米国サンタクララで開催される「Flash Memory Summit 2016」において、技術発表およびデモ展示を行う。