EncoderDecoderモデルの一種であるSequence to Sequence(Seq2Seq)に、 Attention Modelを導入し、その実装と検証結果について説明する。 はじめに 前回 http://qiita.com/kenchin110100/items/b34f5106d5a211f4c004 Sequence to Sequence(Seq2Seq)モデルの実装をChainerで行なったが、 今回はそのモデルにAttention Modelを追加しました。 以降では、Attention Model、その実装法、検証結果について説明をします。 Attention Modelとは LSTMなどのRNN系のネットワークを用いることで、文などの系列データを特徴ベクトルに変換することができます。 しかし初期に入力したデータは、最終的に出力される特徴ベクトルに反映されにくくな
![今更ながらchainerでSeq2Seq(2)〜Attention Model編〜 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f54fb142d55e20ed7e89eb56d0a7e9ac24700375/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU0JUJCJThBJUU2JTlCJUI0JUUzJTgxJUFBJUUzJTgxJThDJUUzJTgyJTg5Y2hhaW5lciVFMyU4MSVBN1NlcTJTZXElRUYlQkMlODgyJUVGJUJDJTg5JUUzJTgwJTlDQXR0ZW50aW9uJTIwTW9kZWwlRTclQjclQTglRTMlODAlOUMmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTEzM2I0MGE4OTQxNDVjMjdmNjA1Yjg5YTFhNjc5Nzk1%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrZW5jaGluMTEwMTAwJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lYjBhNGE3NjIzNmM3MmUwNTM3YTkwZmFjMWRiMTY2ZQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Df91f55c3bfeb9c6f8169b70f37fec836)