RWA (Recurrent Weighted Average) モデルを学習させてみた in Keras - Qiita

RWA (Recurrent Weighted Average) とは？ 論文 (Machine Learning on Sequential Data Using a Recurrent Weighted Average) はこちら 上図の c が RWA のモデル概略図です (a は通常の LSTM、b はアテンション付きの LSTM)。 RWA とは、系列データを扱う再帰的ニューラルネットワーク (Recurrent Neural Networks; RNN) の派生のひとつです。 提案論文中では、RNN の実装としてよく使用されている LSTM と比較して、 精度が良い 収束が速い パラメータ数が少ない と、良いことずくめのことが書いてあります。 その主張の強さとアーキテクチャの簡明さに驚き、また、現在ほぼデファクトスタンダードとなっている LSTM を本当に上回ることができるのか