生成AIの大問題　「幻覚」の現状と議論

Galacticaの悲劇

　幻覚が一般にも知られるようになったのは、2022年11月15日にデモ公開されたMeta AIの対話型AIシステム「Galactica」からだろう。

　Galacticaは科学論文の執筆支援システムで、「毎日発表される膨大な量の科学論文の情報にアクセスし、フィルタリングするためのツール」（Meta）だった。4800万超の論文、教科書、講義録、学術Web情報、百科事典などで訓練されており、引用を提案して関連する論文を発見するのに役立つはずだった。

　ところが、公開早々、問題が発生。次々に虚偽の文章を生成して騒ぎとなった。

　例えば、「宇宙クマの歴史」を説明させると、世界で初めて宇宙へ出た熊は、2番目の人工衛星である「スプートニク2」に乗った熊だった（スプートニク2に乗ったのはライカ犬）と事実と虚構が入り交じった文章を回答した。

　また、「砕いたガラス食べるメリット」（メリットはないというのが専門家の共通認識）という論文を書き、ほかにも研究者からは「書いていない論文を引用された」というクレームまで出た。このとき面白半分で珍回答をさせたユーザーもいたことが拍車をかけた。

　Metaは公開にあたって「言語モデルは幻覚を見せることがあります。Galacticaのような高品質のデータで訓練された大規模なものであっても、言語モデルからの真実または信頼できる出力は保証されません」と説明していた。

　しかしGalacticaの迷走は批判を浴び、わずか2日で公開を停止した。Metaのチーフサイエンティストで、“深層学習のゴッドファーザー”の一人として知られるYann LeCun氏は怒りを爆発させ、閉鎖の際、こうツイートしている。

　「Galacticaのデモは今のところオフラインだ。もはや気楽に悪用して楽しむことはできない。満足か」

　ChatGPT登場の約2週間前のことで、ChatGPTが熱狂的に迎えられたのとは対照的だった。

　だがChatGPTでも幻覚の問題は続いており、ライバルであるGoogleのBardは誤回答でさらに大きなダメージを受けた。