生成AIの「ハルシネーション」はなぜ起きるのか--OpenAIが提示した意外な原因と解決策

たとえ最大規模の先進的な生成AIモデルであっても、事実とは異なる不正確な情報を生成することがある。これは、いわゆる「ハルシネーション（幻覚）」と呼ばれる現象である。OpenAIはその原因を特定し、解決策を提示したと主張している。 OpenAIの研究チームは、先週発表した論文の中で、ハルシネーションはモデルの学習データの質ではなく、むしろ不完全な評価インセンティブに起因すると論じている。評価インセンティブは業界全体で広く用いられており、不確実性を受け入れることよりも、推測を高く評価する仕組みになっている。 モデルは、膨大な量の学習データからわずかな数学的パターンを識別するよう訓練されており、そのパターンを枠組みとしてユーザーの質問に対する回答を生成する。現在の評価パラダイムは、本質的に「正確な回答には報酬を与え、不正確な回答にはペナルティーを科す」という単純な二者択一の採点基準を採用している