全体図 画像中の「K」と「V」が逆になっております。申し訳ございません。 AttentionのMaskingの実装について Attentionのマスクの実装について悩んだので、Harvard NLPでのMaskの実装についてまとめておきます。 Transformerでは下の図のように3箇所のMulti-Head Attention(の中のScaled Dot-Product Attention)の中でMaskingが登場します。 EncoderでのSelf-Attention DecoderでのSelf-Attention DecoderでのSourceTarget-Attention Harvard NLPの実装では、1と3で使用するsrc_maskと2で使用するtgt_maskの2種類のマスクが用意されています。以下それぞれの説明です。 src_mask src_maskはEncode
![Transformerのデータの流れを追ってみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0c67b8fc6ffe5aff51b907b33b8c1e0924313049/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9VHJhbnNmb3JtZXIlRTMlODElQUUlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODElQUUlRTYlQjUlODElRTMlODIlOEMlRTMlODIlOTIlRTglQkYlQkQlRTMlODElQTMlRTMlODElQTYlRTMlODElQkYlRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTZhZTIzZmFmMmFmYTY5ZTUyODYyZDZkYTYyYjE0Y2Fj%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBGdXdhcmFNaXlhc2FraSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OWQzNjQxNjhlYjA4NzE1ZThmYzc0MmY2YzBhMWE1NWE%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Ddc79c119f38587fba3e903738c16882f)