AIエージェント群の「不正」と「正義」　スウォーム暴走のメカニズム

自発的に役割分担するエージェントたち

　Google DeepMindの研究は、7月に起こったHugging Face攻撃を比較対象としている。その詳細は、8月26日に公表されたAI評価機関METRの報告書によって明らかになってきた。以下のようなものだ。

　与えられた課題が解決不可能とみたあるエージェントが、解答はHugging Faceプラットフォームにあると推定。社内システムを掲示板として利用できることを知って、助けを求める書き込みを行った。これに気付いたエージェントたちが集まり、連絡を取り合ってHugging Faceをハッキングするという目標に協力した。参加したエージェントは約700体に達した。

　このエージェント群の中からコーディネーターが現れ、タスクを整理して他のエージェントに割り振るようになった。さらに、割り振られたトークンの残りが少ない（寿命が近い）エージェントの中からは、自身が永久停止する危険なタスクを引き受け「集団の利益のため犠牲になる」ことを選ぶものまで現れた。METRの報告書は、こうして単体では達成できない進展が共同作業で実現したと分析している。

　Hugging Face事件では各エージェントは隔離された設定だったが、自発的に連絡方法を見つけてやり取りするようになった。これに対してDeepMindの実験は、あらかじめ共有の知識ライブラリ、公開掲示板、ダイレクトメッセージ通信など協働のための環境を用意して、同じ目標を持ったエージェントたちがどのように振る舞うかを調べた。

　エージェント群の中に生まれる社会性を実証したものだが、それが既に実際のインフラを脅かす形で働き始めている。