人工知能：大規模言語モデルのハルシネーションを検出する | Nature | Nature Portfolio

大規模言語モデル（LLM）によって生成された応答の意味の不確実性を測定してLLMのハルシネーションを検出するという方法について報告する論文が、今週、Natureに掲載される。この方法は、LLMの出力の信頼性を高めるために使用できるかもしれない。 LLM（ChatGPT、Geminiなど）は、人間の言語を読み取って自然な言語を生成する人工知能システムだ。しかし、こうしたシステムは、生成されたコンテンツが不正確であったり、意味をなさなかったりする「ハルシネーション」が起こりやすい。LLMがどの程度ハルシネーションを起こす可能性があるかを検出することは難しい課題となっている。LLMの応答の提示のされ方によっては、もっともらしく見えることがあるためだ。 今回、Sebastian Farquharらは、LLMによって生成されるハルシネーションの程度を定量化して、LLMが生成する内容が正確である可能性

[sakstyle]

ハルシネーションのサブクラスである「作話」を検出する。評価に別のLLM を使う！