概要 シーケンス(例えば文章)のペアを関連付けて学習させる DeepLearning の手法 sequence-to-sequence learning において、長いシーケンスでの学習の精度を上げると言われている Attention Mechanism の論文を読んだので備忘録を兼ねて概要を書いておきます。 元論文: Neural Machine Translation By Jointly Learning To Align And Translate そもそも seq2seq とは シーケンスのペアを大量に学習させることで、片方のシーケンスからもう一方を生成するモデルです。 元論文: Sequence to Sequence Learning with Neural Networks tensorflow 上にも実装があります。 実用例としては以下のようなものがあります。 翻訳: 英