AIにも「脳腐れ」現象　ジャンクデータで能力低下、再訓練でも回復せず

LLMが思考をとばす　再訓練でも元に戻らない

　「脳腐れ」とは、もともと「単純な思想を優先する社会が、精神的・知的努力の衰退を招く」といった意味で、19世紀に起源を持つ。これがSNS時代に再注目され、「低品質なオンラインコンテンツに過剰にさらされることで認知機能が低下する」という意味で使われるようになった。2024年の英オックスフォード辞書の「今年の言葉」にも選ばれた。

　それがなぜLLMに影響するのだろう。論文では、ジャンクデータでLLMの認知機能が低下する原因として「思考スキップ（thought-skipping）」を挙げている。

　実験では、LLMが推論チェーンを切り詰めたり、段階を飛ばす傾向が増加していた。つまり、ちゃんと考えないで短絡的に結論を出しているということだ。また、これには「扇情」コンテンツよりも「バズり」コンテンツの方が、より強く影響を与えていた。

　さらに深刻なのは、再訓練しても損傷が完全に回復しないことだ。ジャンクコンテンツを含まないクリーンなデータで再訓練しても、推論能力で17.3％、長文理解で9％、倫理規範で17.4％、クリーンモデルより劣ったままだった。

　なぜ回復しないのか。論文ではこう例えている。

　「汚染された水源で育った植物に、あとできれいな水を与えても完全には元には戻らない。根本的な体質が変わってしまったからだ」。