はじめに 最近の自然言語処理界の発展スピードがあまりにも早い。 Deep Learningの汎用化に伴い、自然言語処理界にもAIの波が押し寄せている。 直近で最も世間を騒がせたのはおそらくBERTという研究だと思われる。 ・【図解】BERTとは?Googleの新自然言語処理がどう影響するのか ・Googleの検索エンジンに「過去5年で最大の飛躍」。新たな言語処理モデル「BERT」の秘密 論文発表でもBERTを使ってこんなことができました、あんなことをやってみましたという内容が多いように思う。 しかし、すでにBERTを超える研究結果が報告されているのも事実で、BERTに負けるなと、世界中で盛んに研究が進んでいるようだ。 数多くの技術がでてきているが、一覧として紹介されている記事はあまり見られなかったので、ここに残す。 BERT[2018年10月発表] 2018年にブレイクスルーをおこした最も