GPT-3(ジーピーティースリー、Generative Pre-trained Transformer 3)は、2020年に発表された自己回帰型の言語モデルで、ディープラーニング(深層学習)により人間のようなテキスト(文章)を生成する。プロンプト(命令)として最初のテキストを与えると、そのプロンプトを継続するテキストを生成する。 アーキテクチャは、デコーダのみのTransformerネットワークで、2048トークン長のコンテキストと、1750億個のパラメータという前例のないサイズを持ち、保存するのに800 GBを必要とした。このモデルは、生成的な事前学習を用いて訓練され、以前のトークンに基づいて次のトークンが何であるかを予測するように訓練をされる。このモデルは、多くのタスクに対し、強力なゼロショット学習(英語版)と少数ショット学習を実証した[2]。著者らは、自然言語処理(NLP)における言