新分析システムにOracle製品を導入した背景をNTTドコモに聞く
～スマートフォンの普及によるトラフィック量増加にどう対応するか？
ビッグデータの利活用は、いまや多くの企業にとって避けられないものとなっている。
そのビッグデータの発生元となっているのは、モバイルデバイスだ。特にスマートフォンからの情報発信は、非構造化データの拡大を大きくドライブしているのは周知の通りである。
中でも、TwitterやFacebookといったソーシャルメディアを通じた発信においては、日本は世界的にも活発に利用されており、国内におけるスマートフォンの広がりとともに、日々、発信量は拡大している。また、スマートフォンを利用したソーシャルゲームの利用も拡大基調にあり、これもデータトラフィックの増加に大きな影響を与えている。
こうしたなか、NTTドコモが、トラフィック情報のリアルタイム処理を行うシステムを稼働させ、カットオーバーから約10カ月間に渡って、一度のトラブルもなく安定的に稼働していることを明らかにした。
同システムは、拡大するスマートフォンのトラフィック量の増加に対応するための情報分析ツールとなるもので、同社のインフラ強化や各種サービスを実行する上でも重要な役割を担うことになる。
このほど、このシステムの開発を担当したNTTドコモ サービスプラットフォーム部開発企画担当部長の高橋慎一郎氏に話を聞く機会を得た。
NTTドコモでは、昨年来、スマートフォンのトラフィック増加を背景にした通信障害トラブルが連続して発生。再発防止に向けた抜本的な改革に取り組んでおり、いくつかの対応策を発表。この改善に取り組んできた経緯がある。
今回紹介するシステムは、これらの対応策とは別の流れで構築したものだが、急増するスマートフォンのトラフィック情報を処理し、今後の増加などに対応するためのベースとなる情報を収集するものとして大きな意味がある。
このプロジェクトでは、NTTデータとNECがシステム構築を担当。米国時間の2012年9月30日から米サンフランシスコで開催された「Oracle OpenWorld 2012 San Francisco」で、その内容が初めて公開されている。
■スマートフォンの普及を視野に入れて構築された新システム
 |
| NTTドコモ サービスプラットフォーム部開発企画担当部長の高橋慎一郎氏 |
スマートフォンの増加は急速な勢いで増加している。
MM総研によると、2012年のスマートフォンの出荷台数は2790万台に達すると予想しており、市場全体の69％を占めることになる。その後もスマートフォンの出荷台数は右肩上がりになっており、スマートフォンの普及が今後、急加速していくことを示している。
携帯電話市場で国内最大シェアを誇るNTTドコモも、当然のことながら、スマートフォンの構成比率が上昇している。約6000万件の携帯電話契約回線数のうち、1354万件がスマートフォンであり、2012年度の出荷計画でも、携帯電話全体で2380万台の目標に対して、1300万台をスマートフォンで占める考えだ。すでに年間出荷ベースでは、半分以上をスマートフォンが占めているのである。
ドコモのこのシステムは、もともとmopera Uのサービス開始にあわせて開発され、スマートフォンのネットワーク制御やWebコンテンツ閲覧支援機能などを備えるMAPS（Multi Access Platform System）のなかのサブシステムのひとつに位置づけられている。スマートフォンの普及にともない急激に増加するトラフィック情報をリアルタイムで収集して処理。これによって、トラフィックの増減を常に監視することができる。
「新たなシステムは、5000万台までのスマートフォンの普及を視野に入れて構築したもの。高品質、安全、セキュアなネットワークを維持する上で、柔軟な拡張性を持っているものだ」と、高橋氏は語る。
スマートフォンのユーザーが、Webサイトを閲覧したり、コンテンツをダウンロードしたり、ゲームサイトでプレイする際に発生するトラフィック情報を収集。ここから情報を抽出するとともに、分析のための情報を付加することで、どんな用途で利用されているのか、トラフィックがどんな形で増加しているのかといったことがわかる。
トラフィックソースからWebアクセスの取得やアクセスヒストリーの生成を行い、ストリームイベントをストリーム処理サーバーに送信。ユーザー属性割り当てサーバーと組み合わせて分析するという仕組みだ。
■OracleのミドルウェアとHadoopを採用
同システムには、オラクルのミドルウェア製品である「Oracle Event Processing」と、大容量メモリ領域を構成し大量トラフィックの受信を可能にする「Oracle Coherence」を採用。大規模データの分散処理システム「Hadoop」を採用したバッチ処理と緊密に連携しているという。
Oracle Event Processingでは、特定のルールに従ってリアルタイムに定量のデータを処理。高いスループットを実現するとともに、事前情報加工においても効果を発揮する。
「マルチスレッド上での高スループットな処理の実施と、データアクセス層であるOracle Coherenceとのシームレスな連携を実現している」という。
また、Oracle Coherenceは、大容量メモリ領域を構成し、大量のトラフィックの受信を可能にするもので、高いパフォーマンスと高い可用性を実現できるとしている。
「データアクセスの高層化によるリアルタイム処理の実現と、可用性と一貫性を担保する信頼性があるデートストアの構築に威力を発揮している」とした。
さらに、「Oracle Event ProcessingとOracle Coherenceの組み合わせによって、1秒間に70万件のトラフィックをインメモリ処理でき、データロスをゼロにして、リアルタイムでの識別が可能になっている。発生するストリームデータの継続的な処理、アプリケーション層の冗長性を担保できるという点も大きな要素。また、アプリケーション構築に必要な開発フレームワークの自由度が高く、柔軟なチューニングが可能になっている。継続的なスマートフォンユーザーの増加にも対応できる拡張性と柔軟性は大きな特徴だ」（NTTドコモの高橋担当部長）とする。
拡張性の観点では、分散アーキテクチャによって、パフォーマンスロスがないリニアなスケールアウトが可能であるとともに、ストリーミングデータを用いることで、トラフィックの傾向変化への対応が容易となっている。
「これらのデータを用いることで、将来的には顧客向けリアルタイムサービスへの展開も検討していくことができるようになる」としている。
リアルタイムサービスの具体的な時期や内容などについては、今後、検討していくという。
■汎用サーバーとオラクルのミドルウェアでコスト削減を実現
もうひとつ、このシステムで重要なことは、汎用サーバーとオラクルのミドルウェア製品を利用することで、従来型アーキテクチャによるシステム構築に比べて、約半分のコストで、より拡張性の高いビッグデータのリアルタイム処理を可能にしている点だ。
同社では、「ライセンス料の高さには若干の課題がある」としながらも、システム全体でのコストダウン効果は大きいと語っている。
「もともとの発端は、moperaの時代から活用していたシステムが、急増するスマートフォンのトラフィックに対応できないであろうと想定したことが背景にある。しかし、既存システムでは拡張性に限界があることと、それにかかわるコストが高いことが課題となっていた。他社製品も検討したが、オラクルのミドルウェアの柔軟性、拡張性、そしてコストの観点からこの組み合わせを選択した」と語る。
サーバーにはLinuxを採用し、これもシステムコストの低減につながっている。
さらに、2010年12月から導入の検討を開始し、2011年2月に検討を終了後、2011年10月にはシステム構築が完了。2012年12月からはシステムを稼働させたという短期間での構築、稼働につなげた点も見逃せない。
NTTドコモによると、2011年12月に同システムを導入して以来、増加し続けるスマートフォンからのアクセスに対しても安定稼働を続けており、「トラブルはいままでに一度もない」という。
今後は、データウェアハウス側のオフロードによるさらなるTCO削減の検討、ネットワークサービス品質への展開、リアルタイムサービスの実現につなげていきたいという。
この事例は、ビッグデータへの対応のひとつの成功例に位置づけられるものだといえよう。
日本オラクルのFusion Middleware事業統括ビジネス推進本部担当マネージャーの井上憲氏は、「急激なトラフィックの増加に対応できるだけの拡張性をベースにしたものであり、日本オラクルにとっても、これまでにはない新たな取り組みといえる。さらにドコモ品質でのシステム構築が求められた点でも、この事例は特徴的なものだ」とする。
急速な勢いで増加するスマートフォンのトラフィック量は想定がつきにくいものである。このシステムによって、その動きをとらえることができるという点では、まさにキャリアにとっては必要不可欠なものだといえる。
だが、今年7月にもspモードの通信障害が発生、8月には国際ローミングの不具合が発生するなど、引き続き、トラブルが続いている。これらも通信トラフィック量の急激な増加が背景にある。
このシステムが、今後、通信障害を無くすためにさらに効果的に活用されること、そして、顧客向けサービスへの展開など、新たな発展にどう活用されるかにも注目したい。