今更ながらchainerでSeq2Seq（2）〜Attention Model編〜 - Qiita

EncoderDecoderモデルの一種であるSequence to Sequence（Seq2Seq）に、 Attention Modelを導入し、その実装と検証結果について説明する。 はじめに 前回 http://qiita.com/kenchin110100/items/b34f5106d5a211f4c004 Sequence to Sequence（Seq2Seq）モデルの実装をChainerで行なったが、 今回はそのモデルにAttention Modelを追加しました。 以降では、Attention Model、その実装法、検証結果について説明をします。 Attention Modelとは LSTMなどのRNN系のネットワークを用いることで、文などの系列データを特徴ベクトルに変換することができます。 しかし初期に入力したデータは、最終的に出力される特徴ベクトルに反映されにくくな

[sh19910711]

"RNN系: 初期に入力したデータは最終的に出力される特徴ベクトルに反映されにくく / Attention Model: Encoderの中間ベクトルの加重平均をDecoderに入力 + 大きく分けて2種類存在し、Global AttentionとLocal Attention" arXiv:1508.04025 2017