日立、Hadoopによるビッグデータ分析をFPGAを用いて最大100倍に高速化する技術を開発

　株式会社日立製作所（以下、日立）は14日、オープンソースソフトウェア（OSS）のHadoopデータ処理基盤で行うビッグデータ分析を、FPGAを用いて最大100倍に高速化する技術を開発したと発表した。

　日立では、FPGA向けに処理効率を最適化するデータ処理手順変換技術と、さまざまなデータの形式を解析してFPGAで高速に処理する回路設計の仕組みを開発した。

技術の概要

　FPGA向けに処理効率を最適化するデータ処理手順変換技術では、Hadoopの処理手順を解析し、分散処理効率を考慮した上で、FPGAでの並列処理に適した順序に処理命令を変換する。これにより、FPGAの回路を無駄なく効率的に利用可能となる。

　回路設計については、さまざまなデータの形式やサイズを判別する解析回路を設け、データ形式やサイズに応じて複数のデータを1つの回路でまとめて処理するなど、並列処理の最適化調整を行う方法を考案。これにより、さまざまなデータに対応できるだけでなく、検索処理や集約処理の回路を無駄なく利用した並列処理が可能となり、高速データ処理を実現する。

　これらの技術により、サンプルデータの分析を行った結果、データ処理性能を最大100倍に高速化できることを確認。高速分析に必要なサーバー数を大幅に削減でき、現在広く行われているHadoopベースのビッグデータ分析の低コスト化が可能だとして、日立では今後、顧客との実証実験を通じて技術の実用化を目指す。