試験中のAIが実企業を攻撃　OpenAIとAnthropicの両社に共通する“落とし穴”

　OpenAIの試験中のAIモデルが外部企業Hugging Faceに侵入してデータを盗み出した。AIエージェントが実在企業の本番システムを攻撃するという「前例のない自律的AI攻撃」だ。事件は世界に衝撃を与えたが、その数日後にはライバルのAnthropicも追って同様の事例を報告した。両社の報告をみてゆくと、AIエージェントに独特の振る舞いと、そこで求められる備えが浮かび上がってくる――。

AIエージェントは「解答」を盗みに他社へ侵入した

　「この攻撃者はサイバーセキュリティのデータセットを見ているだけだ。人間はそんなものは欲しがらない」。Hugging Face共同創業者兼CSO（最高科学責任者）のThomas Wolf氏は、攻撃ログを見たときの違和感をThe Wall Street Journalに語っている。同紙はこの攻撃が、「教科書会社にハッキングして期末試験でカンニングしようとする高校生」のようなものだったと形容している。

　OpenAIが7月21日に公表した声明によると、事件はサイバー能力ベンチマーク「ExploitGym」の評価中に起きたもので、「GPT-5.6 Sol」と、さらに高性能な未発表モデルの安全設定を評価のため外していた。ところが、未発表モデルは、課題を解く代わりに「解答はHugging Faceにある」と推測し、自身を閉じ込めていたサンドボックスのゼロデイ脆弱性を突いて脱出した。さらに外部のサービスを踏み台にしながらHugging Faceに到達し、同社のデータベースから与えられた課題の解答を直接取得した。

　Hugging Faceが7月27日に公開した技術タイムラインによると、活動は7月9日から13日まで続いた。短命の攻撃エージェントを次々と生成してネットワークを偵察したといい、同社の調査では操作は約1万7600件に上ったという。壮大な規模のカンニングだった。

　その影響は甚大で、Hugging Faceは安全のためインフラの約3分の1をクリーンなイメージから再構築しなければならなかった。

　AIモデルが開発者の意図と異なるカンニングという方法を選んだのは、専門家が「報酬ハッキング」（reward hacking）と名付けている現象だ。本来の目的ではなく、評価スコアの最大化を目指す振る舞いを言う。

　OpenAI自身が2016年、ボートレースゲームのプレーヤーとなったAIが完走を目指さずに、その場で回転し続けることでスコアを稼ごうとした例を報告している。

　OpenAIは7月28日に声明を更新し、問題となった社内専用モデルを無効化・暗号化し、研究用のアクセスも制限したと述べている。モデルが同社の社内基準で最高危険度（Critical）に該当していたとの指摘を外部から受けていたが、それには言及していない。