Datadog、生成AIアプリの監視とトラブルシューティングを支援する新機能を発表

　Datadog Japan合同会社（以下、Datadog）は7日、生成AIベースのアプリケーションにおける問題の監視とトラブルシューティングを支援する新機能を発表した。

　Datadogでは、生成AIで使用される技術スタックが飛躍的な進化を遂げている中、新たなアプリケーションフレームワーク、モデル、ベクトルデータベース、サービスチェーンおよびサポート技術が急速に採用され、使用されるようになったと説明。企業がこのような変化に対応するには、AIスタックに適合し、進化できるオブザーバビリティソリューションが必要だとしている。

　新機能は、生成AIを導入する際の、コスト、可用性、正確性などの課題に対して、健全性、コスト、正確性をリアルタイムでトラブルシューティングできるよう支援する、チームが、自信を持って大規模言語モデル（LLM）ベースのアプリケーションを本稼働環境に導入し、健全性、コスト、正確性をリアルタイムでトラブルシューティングできるよう支援するため、生成AIオブザーバビリティの広範な機能セットを提供する。

　機能には、AIインフラストラクチャーとコンピューティング（NVIDIA、CoreWeave、AWS、Azure、Google Cloud）や、埋め込みとデータ管理（Weaviate、Pinecone、Airbyte）、モデルサービングとデプロイメント（Torchserve、VertexAI、Amazon Sagemaker）、モデルレイヤー（OpenAI、Azure OpenAI）、オーケストレーションフレームワーク（LangChain）など、エンドツーエンドのAIスタックの統合が含まれる。

　さらにDatadogは、LLM Observabilityの統合ソリューションもベータ版としてリリースした。LLM Observabilityは、アプリケーション、モデル、およびさまざまな連携機能からデータを収集し、組み合わせることで、エンジニアがモデルコストの急増、パフォーマンスの低下、ドリフト、ハルシネーションなどのアプリケーションの問題を迅速に検出して解決することを支援し、エンドユーザー体験をさらに向上させる。

　LLM Observabilityには、モデルの使用状況、コスト、APIパフォーマンスを監視してアラートするモデルカタログ、プロンプトとレスポンスの長さ、APIレイテンシー、トークン数など、すぐに提供されるさまざまなデータの特性に基づいて、モデルのパフォーマンスの問題を特定するモデルパフォーマンス、プロンプトとレスポンスの長さ、APIレイテンシー、トークン数など、すぐに提供されるさまざまなデータの特性に基づいて、モデルのパフォーマンスの問題を特定するモデルドリフトなどの機能が含まれる。