AIにも「脳腐れ」現象　ジャンクデータで能力低下、再訓練でも回復せず

インターネットの劣化とAI開発への影響

　LLMの脳腐れ現象に注目すべきなのは、インターネットから集めたオンラインコンテンツが訓練に利用されているからだ。先端のLLMの訓練には、数千億から数兆トークンの訓練データが必要だが、それだけの膨大なデータを集めるのは容易ではない。

　高品質なデータがあれば、それだけLLMの性能も高められることは分かっているのだが、良質なデータは著作権やコストの問題から使いにくい。結局、Webからのスクレイピングに頼らざるを得ないのだ。

　そして最近、ネットコンテンツの品質が急激に低下しているという見方が浮上している。

　Redditの共同創業者 Alexis Ohanian氏は、10月のXへの投稿で、「またしても、『デッドインターネット理論』を皆に思い出させる時が来たのか？」と述べた。

　「デッドインターネット理論（Dead Internet Theory）」とは、「オンラインの活動がみな、ボットに取って代わられ、人間がいなくなる」という説で2021年ごろに登場した。「情報操作が行われている」という陰謀論の一種と考えられてきたが、ここ数年のAI生成コンテンツの爆増で現実味を帯びている。

　OpenAI CEOのSam Altman氏も9月のXへの投稿で、デッドインターネット理論について真剣に考えたことはなかったものの「いまやLLMが運営するTwitterアカウントが本当に多いようだ」と投稿した。

　インターネットが人間の営みからかけ離れたAI生成コンテンツで埋まれば、それを学習するLLMはさらに劣化していく。

　論文は、ジャンクコンテンツによってLLMのナルシシズムやサイコパシーといった「ダークパーソナリティ」まで増幅したと報告している。莫大な投資で、サイコパスなAIを作ることになっては、救いがない。