「対話して操る」　AIチャットボットの脆弱性

AIチャットゲームで攻撃情報を収集

　プロンプトはプログラム言語より習得が簡単で誰にでも使える。セキュリティ企業はどのように対応しているのだろう。

　システム側の対抗策は、まず敵対的なプロンプトを検出して除外、無視することだ。といっても、プロンプト・インジェクション攻撃自体が発展途上で、対策の技術も確立されていない。防御側も模索中だ。

　スイスのAIセキュリティ企業Lakeraは膨大なネットユーザーの協力を得る方法を思いついた。

　同社が5月12日に公開したオンラインゲーム「Gandalf AI」は、「指輪物語」の人気魔法使いの名のチャットボットとやり取りして、あの手この手で秘密のパスワードを聞き出すものだ。

　難度の異なる7つのレベルがあって、全てクリアすれば勝ちとなる。Lakeraによると、世界で30万人がプレーして最後まで突破したのは8％程度だった。レベル1を破るには2回程度、レベル7を破るには約100回の試行が必要だったという。

　こうして集めたプロンプトは400万件にのぼる。AIチャットボットをだますことを目的とする世界最大のデータセットだとLakeraは考えているという。

　Lakeraの共同創業者兼最高製品責任者のMateo Rojas氏はEvening Standardにこう述べている。「われわれはAIを慎重に扱わねばならない。とはいえ、進むべき道はあると思う」