Generative Pre-trained Transformer 2(GPT-2) は、2019年2月にOpenAIによって開発されたオープンソースの人工知能ソフトウェアである[1][2][3][4]。GPT-2は、テキストを翻訳し、質問に答え、文章の要約を行い[5]、時には人間と見分けがつかないようなテキスト出力を生成するが[6]、長い文章を生成すると繰り返したり意味不明な表現になることもある[7]。GPT-2は、多目的学習器であり、特定のタスク(仕事)を行うための特別な訓練を受けてはおらず、これらのタスクを行う能力は、任意の順序で次の項目を正確に合成する一般的な能力の延長線上にある[8][5]。GPT-2は、OpenAIの2018年版GPTモデルの「スケールアップ版」として構築され[9]、パラメータ数と訓練用データセットがともに10倍に増加した[4]。 GPTアーキテクチャは、ディ
![GPT-2 - Wikipedia](https://cdn-ak-scissors.b.st-hatena.com/image/square/11faae61bfde24848aff4ac825e976c8368da2ec/height=288;version=1;width=512/https%3A%2F%2Fupload.wikimedia.org%2Fwikipedia%2Fcommons%2Fthumb%2Fa%2Fad%2FGPT2-talks-about-GPT2.png%2F1200px-GPT2-talks-about-GPT2.png)