KDDIアイレット、AIエージェントの応答品質を数値化・最適化する「LLMOps for Google Cloud」

　KDDIアイレット株式会社は27日、AIエージェントの応答品質を数値化し、その結果に基づくプロンプトの最適化から改善後の再評価までを支援するサービス「LLMOps for Google Cloud」を提供開始すると発表した。

　「LLMOps for Google Cloud」は、Google Cloudの生成AI技術を活用し、AIエージェントの応答品質を観測・評価・数値化するとともに、評価結果に基づくプロンプトの最適化や改善後の再評価までを一貫して支援するサービスである。担当者の経験や感覚に依存していた品質管理を客観的な評価へと変え、観測・評価・改善・再評価を継続的に繰り返すLLMOpsの運用サイクルを実現するという。

　具体的には、AIによる品質評価によって改善すべきポイントを明確化し、評価データに基づいてプロンプトを最適化するとともに、エージェントやプロンプトの変更後には再評価を実施し、改善前後のスコアを比較することで、品質低下を防ぎ、安定した応答品質を維持する。

　そして、こうしたサイクルを継続的に繰り返す「LLMOpsサイクル」により、担当者の経験や勘に頼らない再現性のあるAIエージェント運用を実現するとした。なお、新規に構築するAIエージェントだけでなく、既存システム上で稼働するAIエージェントにも対応可能であり、企業の環境に応じた品質改善を支援するとしている。