AIのぽんこつがなぜなのかを少し理解した / 仕組みが好き - hogashi.*

Google 検索で「青亜麻」を検索したところ、 Google 検索に据え付けの Gemini が、読みを「あまあま」として解説し始めた。 流石に違うんじゃないかと思って、あってる？ と聞くと、間違いでした、と言う。なぜ聞くとわかることが一発目に間違ったまま出てくるのか気になって、そのまま技術的に解説してもらった。 hogashi-generated.hateblo.jp ざっくりとした理解しかできてないものの、 今の LLM の基本のつくりが文章を形態素解析のように区切ってトークン化して扱うものである 出力するときに、次の文字 (トークン) を作り出すにあたっては、局所的に推測するものである 文章全体を常に見ながら (推敲しながら) 出力するわけではない 知らない単語に遭遇したときには、持ちうる知識のすべての関連度がほぼ 0 になる 相対的に直前の単語が関連知識として使われがち 日本語に