AIにも「脳腐れ」現象　ジャンクデータで能力低下、再訓練でも回復せず

　どうでもいい、浅いコンテンツばかり見続けていると精神・知性が劣化する――。「脳腐れ（Brain rot）」と呼ばれる現象が、LLM（大規模言語モデル）にも起こることが研究者グループによって確かめられた。しかも、モデルは再訓練しても元に戻らないという。AIも人間と同じようにインターネットの劣化の影響を受けるとなると、今後の開発にも影響が出そうだ。

「ジャンクなデータ」がAIの能力を低下させる

　テキサス大学など米国の3大学で構成する研究チームが10月、オンラインにある「trivial（どうでもいい、くだらない）」コンテンツが、AIに与える影響を検証した論文を公開した。LLMの訓練（事前学習）を低品質のデータで行い、性能・能力がどのように変化するかを実験で確かめるものだ。

　方法は、まず訓練用のデータとして、公開X（旧Twitter）の投稿を元に2種類の低品質なデータ「ジャンクコンテンツ」を作成した。

　一つは「バズり」コンテンツ。拡散数は多いが短く浅い投稿。もう一つは「扇情」コンテンツ、陰謀論や誇張された主張など、過激で低品質な内容だ。

　このジャンクコンテンツで訓練したLLMと、クリーンなデータで訓練したLLMを比較した結果、ジャンク訓練モデルは「推論」「長文理解」「倫理性」の全てで認知機能が低下していた。

　具体的には、100％ジャンクデータで訓練したモデルは、推論能力が約18ポイント（74.9％から57.2％）、長文処理が約32ポイント（84.4％から52.3％）も低下した。ジャンクデータの割合が少なければ、低下も緩やかだったという。