ニュース
54％がすでにSparkを使用中――、ClouderaがSparkに関する最新調査データを紹介
日本におけるClouderaとマイクロソフトの協業も発表
2016年11月9日 06:00
HadoopベンダーのCloudera株式会社は18日、イベント「Cloudera World Tokyo 2016」開催にあわせてメディアラウンドテーブルを開催。Apache Spark（以下、Spark）に関する最新調査データの発表と、日本におけるClouderaと日本マイクロソフトの協業の発表の2件をアナウンスした。
メディアラウンドテーブルには、米Cloudera社の共同設立者兼CTOのAmr Awadallah氏と、同社Chief ArchitectでありHadoopのオリジナル開発者でもあるDoug Cutting氏も登場した。
回答者の54％がSparkを使用
Awadallah氏は、背景としてSparkの概要を説明したうえで、Sparkに関する最新調査データを紹介した。
氏はまず、HadoopのコアのプロジェクトとしてHDFSとMapReduceの2つを挙げ、SparkはMapReduceとよく似たものだと紹介。「2006年にMapReduceが作られた頃は今に比べてメモリが高価だったなど、現在と環境が違った。それに対してSparkではメモリを活用し、キャッシュなどを使って性能を向上させている。これは、反復的なデータセットの処理など機械学習では重要だ」と、Sparkの位置づけを説明した。Clouderaは2014年から商用製品としてSparkを出荷している。
今回発表されたデータは、Cloudera社がスポンサーとなったTaneja Groupの調査によるもので、グローバルでも初めての発表となる。調査対象は、世界中のビッグデータに関与する技術者および管理職の約7000人。うち約3割がAPAC（アジア太平洋地域）とのことで、日本からは100件だったという。なお、日本からの回答が少なかったことについて、Cutting氏は「調査が英語だったからではないか。日本にはHadoop関連で5年前から来ているが、日本が根本的に遅れているとは思わない」と語った。
回答者のうち、54％がすでにSparkを使用。使用中と答えたうち64％が今後12カ月で利用を拡大したいと回答している。
また、Sparkを利用していているプラットフォームについては23％がパブリッククラウドまたはプライベートクラウドと回答。さらに将来については36％と予想されている。
Sparkのユースケースとしては、1位がバッチのデータ処理（ETL）、2位がリアルタイムのデータ処理であり、3位にデータサイエンスと機械学習が同位で入っている。「データアナリシスが入っていないのは、われわれのImpalaが使われているから」とAwadallah氏は補足した。
さらにAwadallah氏は、Sparkを使用中と答えたうち、57％がClouderaのSparkを利用していると答えたという数字を示した。この結果について氏は、「Sparkのような新技術はClouderaが最初に商用化して他社が後からついてくる。また、Intelチップセットに向けたチューニングなど、速い製品を提供している。さらに、さまざまなコンポーネントのクロス試験をして統合するなど簡単かつ確実に動くようにしている。そのほか、管理ツールやセキュリティフレームワークなども提供している」と自社のリードを主張した。
そのほか、Sparkを使用中と答えたうち、半数以上が他のHadoopのコンポーネントと組み合せて使っているという結果も紹介された。「『SparkはHadoopを殺すのか？』と言われることがあるが、Sparkは今後もHadoopといっしょに動く」とAwadallah氏は強調した。
Clouderaと日本マイクロソフトでパートナー企業拡充の協業
Clouderaと日本マイクロソフトの協業においては、エンドユーザー企業のMicrosoft Azure上でのCloudera製品の導入のため、両社によるパートナー企業拡充への取り組みを強化する。その最初の事例として、株式会社日立ソリューションズの「プライバシー情報匿名化ソリューション」を株式会社ランドスケイプにMicrosoft Azure上で提供する実証実験が挙げられた。
Cloudera株式会社の田村研三郎氏（カントリー・マネージャー）は、「日本において、いちばん大事なのはパートナーだ。われわれの製品はプラットフォームであり、単独のアプリケーションではない。そこで、周囲の製品とのエコシステムが重要になる。さらに、大事なデータを扱う基盤なので、サポートが欠かせないため、SIerとのパートナーシップも重要だ」と、同社ビジネスでのエコシステムの重要性を強調した。
ClouderaとMicrosoft Azureは、グローバルにおいて、2014年からMicrosoft Azure Marketplaceから直接導入できるパートナーシップを結んでいる。さらに、各種クラウド上にHadoopクラスターを立てるツール「Cloud Director」は、7月にリリースれた2.1からMicrosoft Azureに対応した。
「こうしたグローバルでのパートナーシップがきっかけとなり、日本ではパートナーエコシステムで協業した」と、Cloudera株式会社の朝枝浩毅氏（チャネル&アライアンス ディレクター）は説明した。
また、日本マイクロソフト株式会社の新井真一郎氏（マーケティング＆オペレーションズクラウド＆エンタープライズ ビジネス本部 OSS戦略担当部長）は、Hadoopを動かすプラットフォームとしてのMicrosoft Azureについて、世界中に38リージョンが発表されていること（そのうち30が稼働中）や、データセンター間のネットワークなどを紹介。さらに、国際標準や日本を含む各国のコンプライアンスの監査・認証を受けていることや、「いかなる国や行政期間であっても、保管されているデータは一切渡さないことを宣言する」というコミットメントを強調した。
