富士通、スパコン技術の活用でビッグデータ分析を30倍高速化

　富士通株式会社は24日、ビッグデータの分析サービス「FUJITSU Intelligent Data Service データキュレーションサービス」において、スーパーコンピューターの開発・提供を通じて培ったハイパフォーマンスコンピューティング（HPC）技術を用いた新しい分析基盤に移行し、テラバイト以上の超大規模データの分析処理時間を従来比30倍に高速化したと発表した。

超大規模データの分析処理時間比較

　富士通では、企業によるビッグデータ分析の活用レベルは検証フェーズから実用・商用フェーズに移行しつつあり、分析対象とするデータのボリューム・バラエティはともに飛躍的に増大していると説明。数千万から数億人規模の顧客を対象とする大規模分析の場合は、ハイスペックなサーバーを用いたとしても膨大な時間が必要となり、多くの分析プロジェクトでは一部のデータを抽出して分析を行うなどの対処を行なっているが、One to Oneマーケティングや工場プラント異常検知などでは膨大なデータ全体を分析対象とする必要があるため、分析基盤を高速化させることが課題となっているという。

　富士通では、データキュレーションサービス用に、自社データセンター内にビッグデータ分析専用のHPCクラスタを構築。このHPCクラスタは、複数のPCサーバー「FUJITSU Server PRIMERGY」を高速なインターコネクトで接続したもので、専用の並列処理ライブラリを適用することにより、1000コアを越えるCPUの並列処理が可能となり、ハードウェアとソフトウェア両面の強化により、従来と比較して約30倍の超大規模データ高速処理を可能とした。

　また、既存の豊富なオープンソースソフトウェア（RやPythonで書かれたアプリケーション、Hadoop、Spark、DeepLearning系フレームワークなど）も、大きな変更なしに運用できる高い汎用性を有しているという。

　この高速処理技術を用いた分析基盤を活用することで、従来1週間かかっていた数千個の属性データを持つ数百万人分の顧客データといった超大規模データに対する分析を、数時間に短縮できる。また、従来は困難だった、複数のIoT機器から送信される、数千から数万種類のセンシングデータを束ねた分析や、日本の全人口（1.27億人）に対する超大規模な疾病予測など、超大規模データの分析もビジネスに適用していくことが可能になるとしている。