インタビュー
CDH 5で企業にHadoopのインフラを~米Cloudera CTO (OSSの環境を重視したい)
(2013/12/26 06:00)
OSSの環境を重視したい
――Hadoopが多く使われるにつれ、パフォーマンス面での問題が出ています。MapRなどは、JavaではなくC++でHDFSを書き換えることでパフォーマンスを向上していますが、今後Clouderaはどういったアプローチでパフォーマンス向上を目指しますか?
MapR社が採用しているアプローチは、認識しています。しかし、HadoopがOSSから出ているということを考えると、OSSで開発されているモノと異なるアプローチはあまりいいとはいえません。われわれとしては、OSSを積極的に推し進めていく立場にあります。
Hadoopは、Apacheにおいては1つのプロジェクトです。Hadoopを取り囲むようにさまざまなプロジェクトが進んでいます。だからこそOSSの環境を重視したいんです。
単にパフォーマンスを追求するためにOSSから離れていくと、メインフレームのようにサイロ型のシステムになり、特定のベンダーに依存することになります。これは、OSSのコンセプトとは異なるモノです。
もう1つは、データの安全性です。OSSならソースコードが公開されているため、データを誰かがスパイするということもチェックできます。プロプライエタリなシステムでは、ブラックボックスになっているため、データのスパイ行為がないかどうかをチェックできません。
Clouderaでも、OSSのコミュニティでも、Javaを開発しているOracleなども、パフォーマンスの向上に努めています。最近では、MapRのHDFSとOSSのHDFSでは、パフォーマンスが同等になってきています。
最終的には、OSS側が勝つと思います。MapRがどれだけのエンジニアを抱えていても、OSSのコミュニティに参加しているエンジニアの数とは比較になりません。コミュニティに参加している多くのエンジニアによって、パフォーマンス面でも勝てると思っています。