背景 参照 前提 RNN を利用した Encoder& Decoder MNP モデル 特徴 図 Attention 理解のキーポイント 重み PyTorch での Attention の実装例 コードの解説 問題とされた点 筆者の疑問点 間違いを見つけたら 背景 Quora Insincere Questions Classification | Kaggle というコンペで public kernel で使われていた PyTorch Attention 実装に pitfall があったのではという指摘 Common pitfalls of public kernels | Kaggle があった。それを発端に Attention を正しく理解できていないことが分かったのでここにまとめる。 参照 C5W3L08 Attention Model - YouTube Attention an
![RNN Attention の理解と bias の議論 - higepon blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/9092dc7b8a19c0b641076d8a0b5f0f7de024fa8b/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhigepon%2F20190209%2F20190209144944.jpg)