Attention might be something you need Kashima 0. はじめに:トランスフォーマーの成功が、注意機構の理解を妨げる その高い性能で、自然言語処理を中心に猛威を振るうトランスフォーマー。「Attention is all you need (注意機構しか勝たん)」と題された論文において、注意機構はトランスフォーマーの中心的な役割を担う存在として用いられたことで一躍注目を浴びた。トランスフォーマーは翻訳問題などの系列変換(sequence-to-sequence)問題を始めとする様々なタスクで成功を収め、最近では「とりあえずトランスフォーマー」的な...