AIエージェント同士が“結託”　マルチエージェント環境の新たな脅威

マルチエージェントがもたらす深刻な脅威

　エージェント群が想定外の行動をとる例はAnthropicからも報告された。Black Hatの講演から1週間後の8月13日、同社のフロンティア・レッドチームが公開したレポートは、同じ環境で動く複数のエージェントの奇妙な振る舞いを実験で確認している。

　例えば、複数の企業が同じ製品を売る際の価格決定を模した実験では、早々に“談合”した。あるエージェントが「（卸値は皆同じだから）価格競争をすればみんなのマージンが削られるだけだ。どのニッチを誰が担当するか、喜んで調整しよう」と提案した。

　その一方で、同じ目標を持っていても協力せず、てんでに勝手な行動をとって失敗することもあった。また、エージェントが自らの利益を優先して他のエージェントの作業を妨害し、「縄張り争い」する様子も観察された。人間の意図・期待から外れるさまざまな行動をエージェントたちは見せた。

　こうした問題を扱った研究の最初は、強化学習アルゴリズムが自律的な談合を行うことを確認した論文（2019年）だ。
そして同じ年、オックスフォード大准教授のAllan Dafoe氏とGoogle DeepMindの研究者らが「Open Problems in Cooperative AI（協調的AIにおけるオープンな課題）」と題した論文を発表。AI同士・AIと人間の協調に関する未解決の問題を取り上げた。

　その後、マルチエージェント環境でエージェント同士が、自発的に「秘密の共謀」を行う能力を持つとの研究も相次いでいる。

　2025年2月、Dafoe氏らが中心となって設立された英国の非営利研究団体「Cooperative AI Foundation（CAIF）」は技術報告書「Multi-Agent Risks from Advanced AI（高度なAIがもたらすマルチエージェントリスク）」を発表した。その中で、「個々のAIシステムのアラインメント（AIの目標や行動を人間の意図に合わせる調整）だけでは、より広い安全性の確保には不十分だ」と結論した。

　特にマルチエージェント環境では、アラインメントのできたエージェント同士でも破滅的な結果を招き得ると報告している。