GPT-3とGPT-4の違い：トークン長とは何か？ まるで人が書いたような文章を作成できる生成型（ジェネレーティブ）AIを用いたチャットサービス「ChatGPT」が注目を浴びています。 ChatGPTはOpenAIが開発した汎用的な大規模言語モデル（事前に大規模テキストデータの学習によりわずかなタスクで文章生成や質問応答などの言語処理タスクが解くことが可能）である「GPT（Generative pre-trained transformers）」を基に展開されています。 そもそもここで注目されているのが、最新版であるGPT-4で性能が飛躍的に向上している点です。 では、GPT-3とGPT-4の違いはどこにあるのでしょうか。 その違いをシンプルに表現するなら「トークン長（GPTが文脈を意識できる過去の単語数）」の大きさです。 このトークン長と、ニューラルネットワークを使ったモデルにおいて、学