Transformerによる文章のネガポジ判定と根拠の可視化 - Qiita

#1.はじめに **「PyTorchによる発展的ディープラーニング」**を読んでいます。今回は、7章のTransformerを勉強したので自分なりのまとめをアウトプットしたいと思います。 #2.Transformerとは？ 2017年自然言語処理の分野でエポックメイキングな論文**「Attention All You Need」**が発表されました。そこで提案されたモデルが Transformer で、翻訳タスクにおいて今まで主流であったRNNを一切使わずに、Attention のみでSoTAを達成しました。 以後、自然言語処理分野では BERT、XLNet、ALBERT など、この Transformer をベースにしたモデルが席巻し、自然言語処理なら Transformer と言われるようになりました。 これが、翻訳タスクを行うTransformerのモデル図です。例えば日英翻訳を考え