洗練されたLLMほど信頼性が下がる？　人間による訓練がAIに思わぬ影響

「スケールアップ」と「シェイプアップ」がLLMの信頼性を下げる

　論文では、こうしたLLMの行動がどのようにして形作られたかについても推測している。

　LLMの能力を高めるには2つの方法がある。連続的な「スケールアップ（サイズ、データ量、計算リソースの増加）」と、目的に合わせた「シェイプアップ（フィルタリング、ファインチューニング、人間からのフィードバック）」だ。

　前者は、「スケール則」に従って、より多くのパラメータ、データを、膨大な計算リソースを使って処理することで達成される。後者は、そうして訓練した生のLLMに、「やってはいけないこと」「望ましい態度」などを教え込むことで能力を高める。OpenAIがGPT-3からGPT-4に進む際、「RLHF（人間のフィードバックによる強化学習）」が大きな役割を果たしたことは有名だ。

　ところが、人間のフィードバックから学習するうち、LLMは回答を必ず出すことを期待されていると学習してしまう。その結果、分からない問題にも「それは分かりません」といった「回避行動」を取らず、間違った答えを返すようになった、というのだ。

　論文では「この無謀な行動は、『決して回避しない』モデルを構築する開発者によって助長されている」と指摘している。また、論文の共著者で、スペインのバレンシア工科大学のAI研究者Wout Schellaert氏は「初期のGPTインターフェイスでは、AIが確信を持てない回答の部分が強調されていた。しかし、商品化競争の中で、その機能は削除された」とArs Technicaに述べている。

　なお、論文の中では、「Hallucination（幻覚）」には言及していないが、「事実とは異なる情報を、あたかも事実のようにLLMが生成する」という定義から考えれば、両者は密接に関連していると考えられる。