今回は、話題のGPT-2学習済みモデルを使ってサクッと文章生成してみます。 こんにちは cedro です。 2/14 OpenAIは自然言語の文章を生成するモデル GPT-2 を発表しました。但し、あまりにも完成度が高いために、悪意を持った利用を恐れ、GPT-2 そのものではなく、縮小版モデルと論文のみが公開されています。 先回のブログでご紹介した様に、画像については、StyleGANという本物と見分けの付かないフェイク顔画像を生成するモデルが発表される中、今度は文章というわけですね。 ということで、今回は、話題のGPT-2学習済みモデルを使ってサクッと文章生成してみます。 GPT-2とは？ この図はGPTのアーキテクチャーを表したものです。以前、文章生成と言えば RNNモデル を使っていましたが、GPTはAttentionモデルを使っています。 私たちが言語を理解するとき、単語１つ１つを