人間超え自然言語処理モデル - 2019cnps 認知神経心理学研究@東京女子大学2018 年から 2019 年にかけて人間超えした自然言語処理モデル# GLUE leaderboad# GLUE とは General Language Understanding Evaluation の abbreviation です。 最近の自然言語処理の趨勢になっています。一つのモデルで複数の課題を解くこと を マルチタスク学習 multi-task learning と呼びます。それぞれのモデルは， 最初に一般的なデータセットを用いて 事前学習 pretraining を行います。 次に，事前学習を行ったモデルに対して，複数の下流課題 downstream tasks のそれぞれに対して 詳細チューニング fine tuning を施します。これにより各下流課題ごとの 課題成績を評価します。下図は 2019 年 8 月 21 日現在の順位が示されています。 この競争に参加するモ
