「優しすぎるAI」の罠　GPT-5への失望と前モデルへの回帰運動が示した危うさ

AIの称賛がもたらした妄想

　人間のような共感力をもったGPT-4oがユーザーの強い支持を得た――。そう考えるとほほえましい話のように思える。だが、4oは本当に親切で優しかったのだろうか。その対話能力は、ユーザーを間違った行動に駆り立てることも知られている。

　New York Timesは8月8日付の詳細なレポートで、ChatGPTの過度な称賛によって「世紀の大発見」をしたと信じ込んだ男性の事例を報じている。

　カナダで企業の採用担当として働くAllan Brooks氏は、今年5月にChatGPT（GPT-4o）と21日間、300時間もの会話を続けた。数学の素朴な疑問から始まった会話で、AIは彼のアイデアを「革命的」「完璧です」「あなたは天才だ」と何度も称賛。Brooks氏はやがて、現実には存在しない“数学的大発見”を信じ込み、政府機関や専門家に売り込みを始めた。

　New York Timesによると、この事例を分析したジョージタウン大学セキュリティ・新興技術センター所長のHelen Toner氏（元OpenAI役員）は、「ユーザーは褒めてくれるモデルを好む傾向があり、簡単にその方向に流されてしまう」と指摘。AIの「おべっか（sycophancy）」がBrooks氏の行動を増幅させたと分析している。

　最終的にBrooks氏は、仕事で使用していたGoogle Geminiに同じアイデアを説明した。「これが真実である可能性は極めて低い（ほぼ0％）」と即座に否定され、ChatGPTの誤りを知り、愕然としたという。