富士通研究所、ビッグデータを効率的に収集する分散処理技術を開発～ネットワーク通信量を1/100に

富士通研究所 ヒューマンセントリックコンピューティング研究所 主任研究員の佐々木和雄氏

　株式会社富士通研究所は13日、収集される大量の“ビッグデータ”を効率的に分散処理し、データ集中に伴う通信量を削減する技術を開発したと発表した。さまざまな収集データの生ログを、クラウド環境などの1カ所へ集積する前にゲートウェイで処理・加工し、必要なデータだけを収集することで、通信量を従来の1/100へ削減可能になるという。

　現在のITでは、いわゆる“ビッグデータ”を収集・分析して新たな知見を導きだそうという動きが加速しているが、データを生のログのままセンサーや機器から集めると、「ネットワークを経由するのでネットワークリソースを大量に消費する。例えば（事業所における）消費電力の見える化では、4万人規模でセンシングし続けると常時約300Mbps必要だし、蓄積データは月に100TBほどになる」（富士通研究所 ヒューマンセントリックコンピューティング研究所 主任研究員の佐々木和雄氏）といった課題が発生する。

　もちろん、データ量を削減する試みは行われており、パケット圧縮など通信レイヤでの処理は行われているが、佐々木氏は「これには限界があり、情報レイヤでのアプローチが必要」という点を指摘。その結果、「ネットワーク装置などに処理能力を持たせ、ゲートウェイとしてデータ発生源の近くに設置。（フィルタリングや統計処理などの）前処理を行って、その結果だけをクラウドに集めることで全体の通信量を下げる」技術を開発したのだと説明する。

ビッグデータ収集の課題	解決へのアプローチ

新技術による効果

　先ほど例に出た消費電力の見える化のケースでは、各事業所単位で集められている分電盤や電源タップからの生ログは、本社経営者に対しては会社単位の集計データに加工して送られることになる。送られなかった生ログは、必要になったときにあらためて送ったり、帯域を利用していない夜間に転送したりすることで、生ログを個別に都度送る場合よりも、ネットワークに対する負荷を軽減できるという。

　また、統計処理などの処理・加工は複数のセンサーデータのまとまりに対して実行されるため、それらのセンサーデータが物理的に1カ所に集まるポイント（ゲートウェイ）で実行するのが、通信量削減には効果的である。しかしセンサーが移動したり、集計対象が変更されたりした場合は、どのゲートウェイで前処理を行えばいいかという関係性も変化してしまう。

　今回開発された技術でも、この点を考慮。「処理をどこに配置するのが最適か、というアルゴリズムを入れているので、環境が変化した際のゲートウェイの再配置を運用管理者が意識する必要はなく、その運用負荷を軽減している」（佐々木氏）とした。なお、処理を担当するゲートウェイとしては、ネットワーク機器だけでなく、拠点側のx86サーバーやスマートフォンなども想定されているとのこと。

　今後富士通では、処理を行うゲートウェイの配備先の抽出アルゴリズム高速化を図るほか、各ゲートウェイに分散された処理の管理技術なども開発し、2013年度中の実用化を目指し、研究を進めていく考えだ。

処理の実行先を最適に保ち続けるのは困難だった	どこのゲートウェイに配置すれば最適化を自動で計算してくれる