徹底解説！初代GPT論文「Improving Language Understanding by Generative Pre-Training」 - Qiita

1.導入 「ChatGPTすごく話題だけど，技術的にはどうなっているの？」 と思っているそこのあなた！ 私と同じですね。 今回はそのようなきっかけで，Chat-GPTに繋がる初代GPTの論文「Improving Language Understanding by Generative Pre-Training（2018）」について調べましたので解説します. OpenAIの言語モデルは，GPT → GPT-2 → GPT-3 → InstructGPT → ChatGPTと至るわけですが，基本的なモデルはGPTのものから変わらないので，GPTのモデルを理解することがChatGPT理解の第一歩と言えると思います. こんな方の役に立つと嬉しい ・GPTの技術的な面も知りたい方 ・論文をダウンロードしてみたけどなかなか読む時間がない方 ・論文を読んでみたけど，論文の中で触れられている周辺技術のこと