ニューラルネットワークとLLMは何が違うのか以降、この4行を1つずつ広げていきます。 文章をどうやって入力するか 4つの違いへ入る前に、入力の作り方だけ確認します。 ニューラルネットワークは数値しか受け取れません。 画像はピクセルの値を並べれば数値になりますが、文章をそのまま数値として扱う方法はありません。 そこで、文章をまずトークン (token) という単位へ分割します。 トークンは単語と一致するとは限らず、より細かい断片になることもあります。 この処理をトークン化 (tokenization) と呼びます。 次に、各トークンへ固定長のベクトルを割り当てます。 これが埋め込み (embedding) です。 似た使われ方をする語ほど近いベクトルになるよう、学習の中で調整されます。 ここまでは、画像を数値の配列に変える作業と発想が変わりません。 文章を数値に直せば、あとは普通のニューラルネットワークで扱えます。 違い1: 何を正解
