Encoder-decoderモデルとTeacher Forcing，Scheduled Sampling，Professor ForcingEncoder-decoderモデルとTeacher Forcing、Scheduled Sampling、Professor Forcing Encoder-decoderモデルとTeacher Forcing、それを拡張したScheduled Sampling、Professor Forcingについて簡単に書きました。 概要 Encoder-decoderモデルは、ソース系列をEncoderと呼ばれるLSTMを用いて固定長のベクトルに変換(Encode)し、Decoderと呼ばれる別のLSTMを用いてターゲット系列に近くなるように系列を生成するモデルです。もちろん、LSTMでなくてGRUでもいいです。機械翻訳のほか、文書要約や対話生成にも使われます。 Encoder-decoderモデルの概略図 Encoder ソース系列X=(x1,x2,…,xS)X = (x_1, x_2, \d
