エンタープライズAIのワークフロー革新に挑むVAST Data

日本企業はテクノロジーにオープン、AIもうまく活用できるはず

VAST Data Channel & Alliances Director, APAC Joanne Ong（ジョアン・オン）氏

山下亜澄氏（以下、山下氏）： ジョアン様は、2024年夏頃にVAST Dataに入社され、アジア太平洋市場のチャネル＆アライアンスを担当されています。これまでのご経歴やVAST Data入社の背景についてお聞かせいただけますか。

ジョアン・オン氏（以下、ジョアン氏）： IT業界に約25年携わり、VAST Data以前はNetAppでアジア太平洋地域のチャネル担当を務め、パートナーの支援を行っていました。ストレージベンダーとして、AIのトランスフォーメーションを進める役割を担う中で、AIを支えるデータプラットフォームの重要性を実感し、VAST Dataへの入社を決めました。

山下氏： アジア太平洋におけるAI市場に関して、特有の傾向などはありますか。

ジョアン氏： AIは、規模の大小を問わずあらゆる企業にとって重要なテーマとなり、具体的なアクションを起こす必要性が高まっています。アジア太平洋地域では、ビジネスパートナーや現場の人々がAIとともに成長できるよう、スキル向上の支援が不可欠です。企業にとってはAIへの投資対効果（ROI）の理解も重要です。さらに、AIを導入・構築する際には、安全性やセキュリティ、コンプライアンスの確保が不可欠であり、それをどう実現するかを企業自身が理解する必要があります。私たちは、そうした課題に対応するための啓蒙活動も求められていると感じています。

山下氏： 日本市場についてはどのような印象をお持ちですか。

ジョアン氏： 日本企業は新しいテクノロジーに対してオープンで、進歩している印象です。ただ、導入前に細部まで精緻に検証する傾向があり、その分、導入の進み方がやや慎重になっているようにも感じます。一方で、導入後の活用においては、その緻密な検証が活かされ、高度な活用事例も生まれています。

山下氏： アジア太平洋地域を担当するにあたってのミッション・目標を教えてください。

ジョアン氏： アジア太平洋市場での成長を強く意識し、特にAIの領域で大きく飛躍したいと考えています。当社はまだ比較的新しい存在ですが、どの国にも成長のチャンスがあると感じています。市場の成長速度は国ごとに異なるものの、柔軟に対応しながら毎年3倍から5倍の成長をしていきたいと考えています。それぞれの国の要件に的確に応えていきたいです。先ほども申し上げましたとおり、ソリューション提供だけでなく、お客様やパートナーの皆様のスキルアップに貢献したいですね。

株式会社ネットワールド マーケティング本部 インフラマーケティング部 ストレージ課係長 山下亜澄氏

AI開発を加速するVAST Dataのソリューション

VAST Data Japan パートナー営業部 マネージャー 南里 修一氏

山下氏： VAST Dataの製品の特性についてお教えいただけますか。

南里 修一氏（以下、南里氏）： VAST Data Platformは、HPCとエンタープライズの両方に対応できるデータプラットフォームとして強みを持っています。たとえば、エクサバイト規模の大容量に対応し、InfiniBandによる高速アクセスを実現し、データを一元的に管理できる仕組みを備えています。これらはHPC分野で求められる要件です。一方、データ保護や可用性の確保、性能・容量拡張時のリスク排除、長期保守によるデータ移行の不要化、高速アクセスとコストの両立や、Ethernet対応など、エンタープライズストレージとしても多くの利点があります。そして、これらの特性を持つことが、AIを活用していくためにこれから必要となってきます。

山下氏： どのような点がAIに向いているのでしょうか。

南里氏： AIの開発環境について説明します。AIのトレーニングには 、小規模な場合はGPUサーバーやクラウドを活用しているものの、今後 規模が拡大し、本番で利用する際にはオンプレミス環境への移行が必要になると考えられます。現在、既に多くの企業が複数のGPUサーバーを構築し、データを用いた最適化をオンプレミス環境で実施しています。

トレーニングには計算リソースだけでなく、データの準備 と管理も重要です。具体的には、データをカタログ 化し、前処理した上でトレーニング可能な形式へ変換する必要があります。トレーニング後に推論モデルが生成され、その精度を確認しながらフィードバックを行うプロセスが続きます。

データの取り込みから前処理、トレーニング、推論時のロギングまで、各段階で適切なデータの保管場所が求められます。一般的にはペタバイトクラスの容量が必要とされ、トレーニング中は数十テラバイト程度まで容量が減り、ロギング時には再び数ペタバイト規模まで増加します。こういった実環境での利用を想定した容量となると、クラウド環境では大規模データの管理に伴うコストが高騰するため、オンプレミス環境での運用が望ましいとされています（図1）。

図1：AIモデル開発におけるデータ管理の重要性。AIモデルの開発には、計算リソースだけでなく、膨大なデータと適切な管理インフラが必要となる

また、AI環境の運用には専門的な人材も不可欠です。研究機関ではデータベースの構築や管理を手作業で行うことが多いですが、エンタープライズサービスにおいては非効率な手法といえます。そのため、データのコピーやアクセス管理を効率化し、GPUからの高速アクセスを可能にする統合的なデータ環境が求められています。VAST Data Platformは、構造化データだけでなく、画像や動画などの非構造化データも迅速に処理できるため、AI環境に最適な性能を備えています。

山下氏： AI環境の要所で異なる特性のストレージが必要で、VAST Data Platformはそれらに柔軟に対応できるということですね。

南里氏： VAST Data Platformのポートフォリオは「VAST DataStore」「VAST DataBase」「VAST DataEngine」「VAST DataSpace」の4つに大別されます（図2）。VAST DataStoreは、高速なデータ取り込みと前処理に特化し、AIモデルの学習データ準備を効率化します。VAST DataBaseは、モデルのトレーニング時に構造化データを処理する役割を担います。VAST DataEngineは、データの入出力に基づいて自動的に計算処理をトリガーする機能があり、これをAIに活用することで、推論やロギングに利用されます。

VAST DataSpaceは、データ管理プラットフォームとして機能し、パブリッククラウド、オンプレミス、エッジ環境などに分散したデータを、単一のVASTネームスペースで統合的に管理できます。シングルネームスペースおよびグローバルネームスペースを採用しており、どのクラスターからでも自由にアクセス可能です。たとえば、東京にGPUクラスターがあり、大阪やクラウド上にデータが分散している場合でも、東京側にデータをコピーすることなく、東京側にデータをコピーすることなく、それぞれの地域からシームレスにアクセスできます。

図2：VAST Data Platformを構成するサービス・ポートフォリオ

より詳しい技術についてはAI & HPCソリューションズエンジニアのジェームズ・チェン博士から解説します。

先進的なAIインフラを支えるデータプラットフォーム

VAST Data AI & HPC Senior Solutions Engineer James Chen, PhD（ジェームズ・チェン博士）

山下氏： ジェームズ様はAI/HPC領域のスペシャリストとのことですね。技術の説明の前に、ご経歴をお聞かせいただけますか。

ジェームズ・チェン氏（以下、ジェームズ氏）： VAST Dataの入社前は、AWSでHPCのソリューションアーキテクトを務め、その前はAMDで日本・アジア太平洋市場を担当していました。また、シンガポールのNational Supercomputing Centreではリサーチフェローとして勤務した経験もあります。アカデミアで11年、産業界で約6年の経験を積んできました。現在は、AIのためのデータプラットフォームがどうあるべきかをお伝えしています。

さて、私たちは2024年11月にエンタープライズAI向けの業界初のリアルタイム・データ・エンジンである「VAST InsightEngine with NVIDIA（以下、InsightEngine）」を発表しました。このソリューションはファイル、オブジェクト、テーブル、ストリーミング動画など、あらゆるエンタープライズデータをリアルタイムで安全に収集・処理・検索できます。

エンタープライズAIの活用においては、リアルタイムデータの管理、大規模なセマンティックデータベースの活用、高度なセキュリティの確保が重要です。既存のLLMは過去のデータを元に学習しているため、最新の情報には対応できません。例えば、最新の経済情勢や株価の変動など、リアルタイムの情報は従来のLLMでは捉えきれません。しかし、企業が扱う情報は常に変化するため、リアルタイムでの情報反映にはRAG（Retrieval Augmented Generation）が不可欠です。そのため、多様な企業データを統合し、自動的に情報を取り込む仕組みが求められます。

また、迅速かつ効率的なデータ処理を実現するには、データベースがベクターやグラフ構造に対応している必要があります。さらに、安全なデータ運用のためには、既存のセキュリティやガバナンスポリシーを維持しながら管理することが不可欠です。こうした高度なデータ活用を可能にするのがInsightEngineです（図3）。

図3：VAST InsightEngineには、ベクトルやグラフデータのインデックスを作成するNVIDIAの技術「NIM Semantic Engine」を統合している

山下氏： VAST Dataのデータプラットフォームの技術についてもお教えください。

ジェームズ氏： VAST Data Platformのコア技術の1つであるElement Storeは、一つのプラットフォームで複数のプロトコルにネイティブ対応を可能にするソリューションです。NFS、SMB、S3、SQL、Python、Arrowなどをサポートし、異なるシステム間でのデータ統合を柔軟に実現します。また、ハイパースケールのフラッシュストレージを採用し、バイト単位での管理、シンプロビジョニング、シャーディングにも対応しています。

さらに、マルチテナントにも対応し、特定の顧客の要望に応じた物理的なデータ分離も可能です。この機能は、クラウドサービスプロバイダーをはじめ、多くの企業に高く評価されています。また、当社のデータ削減技術も大きな特長の1つです。データ圧縮、重複排除に加え、類似性を持つデータを圧縮することでストレージ使用量を最適化し、平均3対1の圧縮率を実現します。これにより、消費電力や冷却コストを削減し、全体の運用コストの最適化にも貢献します。

当社のデータプラットフォームは、単なるストレージにとどまりません。データベース機能を備え、優れた分析技術を活用することで、高度なデータ処理を実現します。また、革新的なアーキテクチャによりプロセスを高速化し、高いパフォーマンスを発揮します。

顧客やパートナーとともに技術変革を加速

山下氏： 今回は、AIにフォーカスした内容をお聞きしましたが、VAST Data Platformは、AIに限らず広範囲に利用できそうですね。

ジェームズ氏： 確かに、当社のソリューションはAIに特化したものではありませんが、多くのお客様がAIに強い関心を持ち、高いニーズを抱えているため、特に力を入れてサポートしています。もちろん、HPCやビッグデータ分析にも対応しており、これらの分野においても、お客様のニーズに応じた最適なソリューションを提供していきたいと考えています。

山下氏： VAST Dataが、AIデータプラットフォームのスタンダードとなっていくために、どのような活動をされていますか。

ジョアン氏： 当社は、ファーストカスタマーに対してアルファ版やベータ版を提供し、ディスカッションを重ねながら開発を進めています。単に『このような機能があります』と提供するのではなく、お客様が求める機能や、データ処理の高速化がどのように役立つのか、さらにはエンドユーザーにとってどのような価値を生むのかを対話しながら、機能の拡充を図っています。

また、NVIDIAのGTC（GPU Technology Conference：NVIDIAが主催する年次カンファレンス）などは、成果を披露して認知度を高める場として有効です。こうしたイベントでデモ画面を用いた発表を繰り返しながら、当社の技術を広く紹介していく計画です。グローバル規模でも、マーケティングチームと連携し、戦略的に展開していくフェーズにあります。

さらに、AIの普及には教育や啓蒙活動が欠かせません。関係者と連携しながら、さまざまな取り組みを進めていく必要があると考えています。今回の取材も、その一環として重要な機会だと捉えています。

南里氏： 当社の取り組みの一例として、2024年11月に発足した『Cosmos』というコミュニティがあります。これは、イベントとして発表されたものですが、単なるイベントにとどまらず、広範なコミュニティとしての役割も担っています。

このコミュニティには、当社のお客様をはじめ、NVIDIAやシスコシステムズ、Super Micro Computer、ネットワールド といったアライアンスパートナーが参加しており、VAST Dataがリードする形で運営しています。目的は、最新の技術情報や検証結果、マーケティング情報などを共有し、業界全体の発展に貢献することです。

山下氏： 私たちネットワールドも、AI市場の活性化を見据え、2024年秋にVAST Dataとディストリビューター契約を締結させていただきました。当社は、ストレージシステムだけでなく、ネットワーク製品、バックアップ製品、セキュリティ製品など、幅広い商材を取り扱っており、それを活かして複合案件にも柔軟に対応できます。販売支援はもちろん、保守や構築サービスも当社の強みのひとつです。

今後、さまざまな場面でAI対応が求められ、既存のビジネスとAIを組み合わせる機会がますます増えていくと思いますので、当社がVAST Dataと提携していることが、大きな強みになると考えています。