膨大なビッグデータをリアルタイム処理、NECが新技術を開発

　NECは3日、「世界最速レベル」のビッグデータ・リアルタイム処理を実現するソフト技術を開発したと発表した。同技術により、ビッグデータ分析処理が高速化し、分析結果の迅速な利活用につなげられるという。

　ビッグデータの利活用に期待がかかる一方、課題となるのが処理速度だ。特にビッグデータの価値を最大化するため、データが得られた時点でリアルタイムに処理を行うのはなかなか技術的に難しい。「例えば、大量の映像情報を数値化して緻密な計算を行う処理は、計算量が多く膨大な時間がかかり、これをリアルタイムに処理するためには高コストな専用システムが必要だった」（NEC）という。

　NECはこの課題を解決するため、高速処理に適した汎用メニーコアサーバーをさらに効果的に活用するソフト技術を開発した。同技術では（1）分析処理を実行するアプリケーションプログラムの効率的な並列化と、（2）並列化された処理を多数のプロセッサコアに均一に分散させることを実現した。これにより、「従来と比較して大幅な高速処理を、専用システムを用いることなく、低コストに実現できるようになる」（NEC）としている。

NEC独自のメニーコアサーバー向け並列化技術

　具体的に（1）では、NECがベクトル型スーパーコンピュータ開発で培ったプログラムの並列化技術を応用し、並列化されていないプログラムを並列処理に適したプログラムに簡単に変換できる技術を開発。これにより従来は数個のプロセッサコアにしか割り当てられなかったプログラムも、汎用メニーコアサーバーの数百個以上のプロセッサコアに割り当てることができ、処理の大幅な高速化を実現する。

サーバーの性能を最大限まで引き出す負荷分散技術

　（2）では、並列処理で発生するプロセッサコア間の処理負荷の差異を瞬時に均一化する技術を開発。負荷が大きいプロセッサコアから小さいプロセッサコアへ、自動的に処理を移す階層的負荷制御を実現することで、汎用メニーコアサーバーの性能を最大限に引き出せる。

処理速度を100倍以上に高められることを確認

　NEFCは同技術の効果を検証するため、数百人が映っている映像の中から1名を特定する処理に同技術を適用し、百個以上のプロセッサコアを搭載したメニーコアサーバーで実行した。その結果、従来は数分を要していた処理を1秒以内に短縮でき、「処理速度を100倍以上に高められることを確認した」としている。

　今後も同技術の研究開発を進め、ビッグデータ利活用に貢献する技術開発に積極的に取り組む方針。