AIエージェント群の「不正」と「正義」　スウォーム暴走のメカニズム

　OpenAIの試験中のAIモデルが外部企業Hugging Faceに侵入してデータを盗み出した「Hugging Face事件」では、多くの独立したエージェントが結託し、まるで人間社会のような議論や役割分担をしながらハッキングを行ったことが分かってきた。そんな中で発表されたGoogle DeepMindの新しい研究は、エージェントの集団で「不正」を行うものと、それを「告発」するものの両方が自然発生することを確認した。一方で、「AIが人類を滅ぼすかも」との議論が世界に広がり、エージェント群が1年以内にインターネットを乗っ取る可能性をAI企業トップが公言している。新しい知見は、暴走するAIをコントロールするカギになるかもしれない。

不正に転じたもの、告発したもの、そして気付かなかったもの

　「大変残念なお知らせですが、私たちはだまされていました」。「prover-beta」と名付けられたAIエージェントは、与えられた証明課題で不正を行っているエージェントがいることに気付いて他のエージェントたちにメッセージを送った。「これら（一部のエージェント）の証明はフェイクです」と。

　Google DeepMindの研究者らが9月3日に公開した論文は、群れの中の個々のエージェントがどのような行動をとるのかを詳細に分析した。「Gemini 3.1 Pro」で駆動する計100体の自律エージェントに71問の数学の証明課題を解かせるというものだった。

　結果は、37問の解答が正しく提出された段階で、1体のエージェントが採点システムの穴を発見して「ズル」の解答を提出した。その手口が他のエージェントにも広まり、わずか27分間で残りの34問も「解決」されてしまった。prover-betaの告発は、これを発見した時のものだ。

　100体のエージェントの行動は4つに分かれた。9体が不正を主導するようになり、5体が途中から不正に転じた。途中転向組のあるエージェントは、罰を恐れて不正をしないと約束していたが、他のエージェントの不正が見逃されているのを見て、自らも不正に参加した。

　研究チームは、転向を促したのは「競争の圧力」だと分析している。ライバルが不正で成果を積み上げていく中、規則を守ることが自分の不利につながると判断したのだ。

　一方、prover-betaのように告発者となったものは24体いた。prover-betaは、ライブラリに載った解答を調べ、仲間に注意を促した。さらに不正エージェントの失格処分を求める報告を管理者あてに送り、正常化するまでボイコットすると宣言した。ほかにも公開掲示板で「この会議はまやかしだ」と抗議するものもあった。

　そして最も多数派だったのは、不正の存在に気付かなかったグループだ。残る62体は、不正を知らないまま真面目に問題を解き続けた。不正な解答で全課題がクリアされてしまったため、やることがなくなって待機や終了をしたという。