9/5にOPEN AIが公表した論文「Why language models hallucinate」によると大規模言語モデル（LLM）がハルシネーション（もっともらしいが誤った情報を生成すること）を起こす理由について、その根本的な原因を統計学的な視点から説明しています。内容としては
論文での主張としては、LLMがハルシネーションを起こすのは、訓練や評価の方法が不確実性を認めるよりも、推測をすることを推奨しているからだというものです。まさにこれはテストで人間がわからなくても苦し紛れでもっともらしい回答を書こうとしているのと似ているのかもしれません。間違った方にマイナスのインセンティブを与えることで改善するのかもですが…正直もっともらしい回答が間違っているというのが最も厄介。そもそも間違いというお手本が無い場合は精度は下がってしまうのでむしろわからないということを正直に言ってくれるLLMをいかにできるか?というのを考えたほうが良いのかも。
- 訓練と評価のインセンティブ: 従来のLLMの評価方法では、間違った答えを出しても、正直に「分かりません」と答えるよりも高いスコアが得られることが多く、このためモデルは不確かな場合でも自信満々に答えを生成するようになります。論文は、まるでモデルが「常時テストモード」に置かれており、無言は失敗、自信満々の推測は賢いとみなされるようになっていると指摘しています。
- 統計学的な原因: ハルシネーションは、謎のバグではなく、統計的な問題として説明できると述べています。訓練データにエラーがなくても、訓練の際に使用される目的関数によって、モデルは誤りを生成する統計的圧力を受けることになります。
- 解決策: 論文では、この問題は「社会技術的な」解決策が必要だと主張しています。つまり、新しい評価方法を導入するだけでなく、既存の、精度のみを重視するベンチマークのスコアリングを、不確実性への対応を考慮するように変更する必要があるとしています。
Please follow and like us:
