ChatGPTなどの大規模言語モデル(LLM)に質問をすると、現実にはあり得ない回答をすることがよくある。それを鵜呑みにした学生が珍レポートを提出して教授に怒られるという程度なら笑い話で済むが、企業や行政がもっともらしい誤回答を信じてしまっては大変だ。そうした誤回答を自動判定するシステムが登場した。 LLMの珍回答は「ハルシネーション」(幻想)と呼ばれ、AI開発における大きな課題となっている。AIサービスの開発提供を行うオルツは、独自LLM「LHTM-OPT」の開発を通じて得られた知見から「ハルシネーション自動評価システム」を開発した。同社のLHTM-OPTのほか、GPT-3.5やLlama2などのLLMのハルシネーション発生確率を判定できる。 同社提供の動画では、サザエさんに登場するタラちゃんの父親は誰かとの質問を使って検証しているが、OpenAIのGPT-3.5は「磯野波平」と答えた。
![AIの珍回答を減らせ 「ハルシネーション」自動判定システム | Forbes JAPAN 公式サイト(フォーブス ジャパン)](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f611001a7eab11addad9f794dd5e047463b7dd9/height=288;version=1;width=512/https%3A%2F%2Fimages.forbesjapan.com%2Fmedia%2Farticle%2F70903%2Fimages%2Fmain_image_0b9532971e16cbe56eec453c12819d5e883529e3.jpg)