テキスト生成モデル -SeqGAN- - 終末 A.I.

この記事は、DeepLearning Advent Calendar 2016の20日目です。 今回は、時系列データに GAN の手法を適用した SeqGAN をご紹介したいと思います。SeqGAN は分かりやすく時系列データに GAN を適用しているためアルゴリズムが理解しやすく、公式の TensorFlow コードもあるので試しに動かしてみたい方にオススメできる手法です。 SeqGAN では、GAN と同じく生成モデルと識別モデルの両方を用いて生成モデルを学習させていきますが、時系列モデルに適用するにあたり（ から を求める生成モデルを作成するにあたり）、下図のように 以降をモンテカルロ法により生成し、その結果も含めて本物か生成したものかを識別モデルに判定させることにより、 から を求めた結果の評価値を決定します。 ※ 論文から抜粋 この部分を式で表すと、 を生成モデル、 を識別モデル