「ChatGPT」に代表される大規模言語モデル(LLM)に基づく生成AI(人工知能)は誤った情報をまことしやかに提示し、幻覚(ハルシネーション)を見せることがある。LLMに基づく生成AIは「嘘をつく」と言われるゆえんであり、「検証が必須」とされる理由でもある。なぜ幻覚を見せるのか。それはLLMの仕組みを理解するとよく分かる。 LLMは言葉と言葉のつながりを学習したものである。そのつながりの学習結果に基づき、ある単語に続く単語はどれであるかを確率として算出し、その可能性が高い「つながりそうな」単語を続ける。正確には単語ではなく「トークン」と呼ばれる、文字のつながりを細かく区切ったものが用いられる。