「Hadoop」をクラウドネイティブに　ビッグデータ基盤モダン化の取り組み

　分散処理フレームワークの「Apache Hadoop」は2002年ごろ登場し、「ビッグデータ」の代名詞となった。その後、クラウドが普及し、エッジコンピューティングやマルチクラウドという新しいトレンドが生まれ、機械学習などビッグデータの活用法も多様化した。これに合わせて、Hadoop向けのモダンなデータアーキテクチャを構築しようというイニシアティブが立ち上げられた。だが、長い道のりになりそうだという。

クラウド、エッジが要求する新しいデータアーキテクチャ

　Hortonworks、IBM、Red Hatの3社が立ち上げたイニシアティブ「Open Hybrid Architecture」は、ビッグデータのワークロードをハイブリッド環境で動かすための共通アーキテクチャを構築する取り組みだ。ここで言うハイブリッド環境は、オンプレミス、マルチクラウド、エッジコンピューティングの組み合わせで、イニシアティブは、その中でApache Hadoopを動かす共通の基盤を目指している。

　背景にあるのは、クラウド、そしてマルチクラウドの流れだ。Hadoop技術を提供するHortonworksの共同創業者兼CTOのArun Murthy氏は、公式ブログで10年前の環境を振り返っている。すなわち、ストレージが高価でハードウェアコストが必要、ネットワークも高価でオンプレミスのみで実装が可、プロプタイエタリのソフトウェアとハードウェアによるベンダーロックインの発生、といったものだった。

　その後、クラウドの台頭、モバイルやセンサーなど新しいデータの種類の出現、機械学習など新しい分析手法の登場などが起こった。こうした進化を受け、「ハイブリッドを主要な要件に、再びデータアーキテクチャを再構築する時が来た」とMurthy氏は言う。

　Hortonworksはこれまで、パブリッククラウド向けHadoop向けに、分散ストレージとマルチソースデータセット処理のフレームワーク「Hortonworks Data Platform」、拡張性のあるストリーミングアナリティクスプラットフォーム「Hortonworks DataFlow」のIaaSでの提供など、一貫性のあるセキュリティとデータ管理層などハイブリッドに向けた取り組みを進めてきた。

　だが、まだ完成には至っておらず、「クラウドとオンプレミスで一貫性のあるアーキテクチャ」が最後の仕事として残っているという。これに取り組むのが、Open Hybrid Architecture Initiativeというわけだ。