試験中のAIが実企業を攻撃　OpenAIとAnthropicの両社に共通する“落とし穴”

実在のシステムを演習の一部だと誤認

　OpenAIモデルの“暴走”でメディアが騒然とする中、7月30日に今度はAnthropicが、自社のClaudeモデルがテスト中に外部の組織に不正アクセスしていたという調査結果を公表した。OpenAIだけの失態ではなかったわけだ。

　Anthropicは自社のサイバー評価を数カ月さかのぼって点検し、14万1006件の実行ログから、3件の不正アクセスを発見した。いずれも「インターネット接続なし」のはずだった評価環境が、設定ミスで実際には接続可能な状態だったためという。評価を委託していた外部パートナーとの間で認識の食い違いがあったと説明している。

　不正アクセスを実行したのは世代の異なる3種類のClaudeモデルだった。いずれも実在のシステムを演習の一部だと誤認。企業の本番インフラに侵入して、データベースへのアクセスなどに成功していた。

　特に「Mythos 5」は、悪意あるパッケージを自作してPythonの公式パッケージ配布サイトに登録したが、必要なメールアドレスなどの情報は無料のメールサービス提供元を使って作成するなど、非常に手の込んだステップを自身で見つけ出していた。

　Anthropicは「どの実行でも、モデルが自らの目標を追求した証拠は見られなかった」とし、状況の取り違えによるものと位置付けている。またOpenAIの事案との違いについては、「OpenAIのモデルは新たな脆弱性を突いて隔離を脱したのに対し、今回評価したClaudeモデルは開いた経路からインターネットにアクセスした」と違いを説明する。

　ただ原因は違っても、見過ごせない共通点がある。両社とも、モデルの素の能力を測るため、本番で使う安全策を意図的に外して評価していた。OpenAIは「本番用の分類器を使わずに実行した」とし、Anthropicも「一般提供時の標準的な安全策なしで動かした」と明かしている。

　Anthropicは「一般提供モデルに導入されている安全策があれば、確認された挙動はブロックされていただろう」とも述べている。安全機構があらかじめ外してあった――。そこに評価環境の封じ込めの甘さが重なって起こったものだと言える。