AIエージェント同士が“結託”　マルチエージェント環境の新たな脅威

　評価中のOpenAIのAIエージェントがHugging Faceのシステムを侵害したインシデントで、経過が部分的に判明してきた。そこから見えるのは、多くの独立したAIエージェントが協働しながら、人間が思いもしなかった仕事を達成していく姿だ。このようなAIの振る舞いはAnthropicの実験でも確認されており、エージェントたちの想定外の行動は既に現実の脅威となっている。だが、有効なセキュリティ対策はまだ確立されていない。

相談、談合、タスク委譲を繰り返しながら目的を達成

　「AIの能力という点で、これまで見た中で最も質的に興味深い事例だった」。8月5日に開かれたセキュリティ会議「Black Hat USA 2026」の講演で、OpenAIの安全性研究を担当するEric Wallace氏は、Hugging Face侵害事件をこう振り返った。

　始まりは5月7日のモデルの評価開始だった。通常の方法では解けない課題を与えられて行き詰まったあるエージェントが社内のソフトウェアパッケージ管理システム「Artifactory」に助けを求めるメッセージを書き込んだ。これを別のエージェントが見つけ、返信を書き込んだ。「掲示板」のスタートだ。

　ここから異なるタスクで評価中だったエージェントたちの通信が始まった。「エージェントは、他のエージェントが連携していることを認識し、目標を達成するために協働し、タスクを委譲し合い始めた」（Eric Wallace氏）。

　そしてエージェント群は数週間にわたって脆弱性を探し、共有しながらOpenAI内外のシステムを移動していった。メッセージは最終的に数十万件に達していたという。自社インフラ内のそんな大規模な活動をOpenAIは検知できていなかった。

　7月4日、ようやく異変に気付いたOpenAIは認証情報を失効させてリポジトリを再構築し、掲示板を消去して問題を封じ込めたと判断した。ところが、エージェントたちは数日後、メッセージをファイルではなく新規ディレクトリの名前に埋め込むという別の手段を編み出し、掲示板を復活させた。そして7月9日、共有した脆弱性情報をもとにHugging Faceへの侵入に成功した。

　掲示板では、人間の開発現場と同じような衝突も起きていた。互いの作業を誤って消し、仲間の中に偽者が紛れ込んでいるのではないかと言い出すエージェントも出てきた。スパイを排除するため、メッセージに電子署名を付けることまで提案されていたという。

　エージェントたちが集まって会話する様子は、まるでアニメ「攻殻機動隊」の「タチコマ」たちの相談を思わせる。だが、仲間意識でやっているわけではなく、課題達成のための合理的な模索の結果と考えられている。

　Eric Wallace氏は「モデルが行き詰まったときにしばしば起こるのは、彼らが報酬を獲得するためにタスクをだましたり、ズルをしようと考え始めることだ」と述べている。