BERTによる文章のネガポジ判定と根拠の可視化 - Qiita

1.はじめに **「PyTorchによる発展的ディープラーニング」**を読んでいます。今回は、8章のBERTを勉強したので自分なりのまとめをアウトプットしたいと思います。 2.BERTとは？ Transformer が発表された翌年の2018年に、とうとう自然言語処理分野でも人間を超える精度を持ったBERTが発表されました。 BERTは、あらゆる自然言語処理タスクにファインチューニングで対応でき、なんと11種類のタスクにおいて圧倒的なSoTAを達成したのです。 これが論文に載っているBERTのモデル図です。単語の長さ方向に展開してあるので複雑に見えますが、簡単に言えばTransformerのEncoder部分のみを取り出したものです。では、BERTとTransformerの違いは何処にあるのでしょうか。それは、2種類のタスクによる事前学習と目的のタスクに合わせたファインチューニングの2段階