Transformer (機械学習モデル) - Wikipedia

注意機構（英: attention mechanism）またはアテンション（英: Attention）は系列信号の重み付き統合である。 アテンションの基本は次のモデル式で表される。 系列信号に対し、 番目の信号 からベクトル値 とスカラ重み を計算し、系列全長にわたって重み付け和したものがアテンションである。系列の特定時刻に大きな重みを置くことを動物における注意に例えてアテンションと名付けられた。アテンション はベクトルの和で求められるため系列長に関わらず同じshapeを持ち、また と は動的に算出される。ゆえにアテンションは可変長系列を入力に取れる。 ニューラルネットワークの分野ではLSTMやGRUなどの回帰型ニューラルネットワークにアテンション機構を追加したモデルが高性能な自然言語処理システムで採用されてきた。 ゲート付き RNN はトークンを順次処理し、各トークンの後に表示されるデー