概要 2013年から2022年に公開された歴代の自然言語処理モデルをGLUEスコアに沿って整理します。 背景 過去に生み出された革新的な技術は、日々、新しいアイデアや技術が公開される現在でも使われています。これまで、自然言語処理界において、ターニングポイントとなったであろう技術を時系列に振り返ろうと思いました。 自然言語処理モデルについて 自然言語処理モデル活用例 一概に自然言語処理モデルと言っても、それが一体何ものなのか理解し難いと思います。 現代社会で自然言語モデルが活用されている事例には以下のようなものがあります。 自動翻訳 :ブラウザの翻訳機能などで、自動的に翻訳してくれます。 文章自動生成 :文章を自動で要約したり、適当な文章を生成してくれます。 チャットボット:企業の問い合わせサイトなどで、質問した内容に答えてくれます。 自然言語処理モデルとしては、直接、翻訳精度上げるよう