ニュース
NRIセキュア、生成AI活用システム向けのセキュリティ診断サービス「AI Red Team」を提供
2023年12月18日 16:33
NRIセキュアテクノロジーズ株式会社（以下、NRIセキュア）は18日、「AIセキュリティ統制支援」サービスのラインアップの一つとして、生成AIを利用するシステムやサービスを対象にした、セキュリティ診断サービス「AI Red Team」を提供開始した。
AI Red Teamは、NRIセキュアの専門家が実際のシステムに疑似攻撃を行うことで、LLMを活用したサービスにおけるAI固有の脆弱性と、そのAIと連携する周辺機能を含めたシステム全体の問題点を、セキュリティ上の観点から評価する。
AIは、それ単体でサービスとして機能することはなく、周辺機能と連携することで具体的な提供サービスを構成する。そのため、LLM単体のリスクを特定するだけではなく、サービス全体を俯瞰して、「リスクが顕在化した場合に、システムやエンドユーザーに悪影響を与えるかどうか」というリスクベースアプローチでも評価する必要がある。
サービスでは、LLM単体でのリスクを洗い出した後に、LLMを含むシステム全体のリスクを評価するという、2段階に分けた診断を実施する。診断の結果、見つかった問題点とリスク低減策をまとめた報告書を提供する。
NRIセキュアは、LLM向けDAST（Dynamic Application Security Testing。実行中のアプリケーションをテストし、潜在的なセキュリティ脆弱性を動的に評価する手法）を採用し、自動でテストが可能な診断用アプリケーションを独自に開発した。このアプリケーションを用いることで、効率的かつ網羅的に脆弱性を検出できる。さらに、LLMのセキュリティに精通したエンジニアが診断にあたり、自動テストではカバーできない各システム固有の問題点も洗い出し、検出された脆弱性を調査で深く掘り下げる。
さらに、システムやサービス全体における実際のリスクを評価し、対策コストを削減する。生成AIは、確率的に出力を決定する性質があり、内部の動作を完全に理解することは困難であるという特性上、システムの部分的評価で脆弱性を洗い出すには限界がある。NRIセキュアでは、培ってきたセキュリティ診断のノウハウを組み合わせることにより、システムやそれが提供するサービス全体を包括的に診断したうえで、AIに起因する脆弱性が顕在化するかどうかを診断する。サービスは、AI固有の問題を評価するだけでは対処が難しい「OWASP Top10 for LLM」にも対応が可能。
また、仮にAIそのものに脆弱性があった場合、システム全体から見た実際のリスクの程度を評価することにより、実施が難しいAIそのものの脆弱性対応をせずに済むよう、代替の対策案を提示できる。その結果、対策コストを抑えることが期待できる。
NRIセキュアでは、生成AIを利用したシステムなどのセキュリティ対策を継続的に支援していくため、AI Red Teamと対をなすサービスとして、AIアプリケーションの定期的なモニタリングを実施する「AI Blue Team」サービスを開発している。AI Blue Teamは2024年4月の提供開始を予定しており、現在、PoCに参加するし企業を募集している。