LLMのハルシネーションを検知する方法｜tlo_oly

上記を参考に、ハルシネーション検知に対する考え方や、各検知手法について簡単にまとめました。 前提テストは以下の前提とします。これを「ブラックボックステスト」と呼んでいます。 外部知識は利用しない LLMの内部挙動を見ない 生成された回答のみを使ってテストする ハルシネーションを検知するには？同じ質問に対して複数の回答を生成させて、出力間の一貫性を見ます。 回答に一貫性があるほどハルシネーションが少ないと言えます。 テキスト同士の一貫性の算出方法以下のような手法があります。 Cosine similarity N-gram language model BERTScore Question-Answering Natural Language Inference (NLI) LLM prompting 論文作者チームによる算出用コードもSelfCheckGPTという名前で公開されているので、