はじめまして,インターン生の三澤遼です。本記事では,BERT以降の事前学習済みモデルを体系化し,主要なモデルについて解説します。TransformerやBERTについて事前知識があると理解しやすいと思います。 BERT以降のNLP分野の発展 学習方法の改良について 事前学習 Masked Language Modeling 改良版Masked Language Modeling RoBERTa (2019-07) Translation Language Modeling XLM (2019-01) Sequence-to-Sequence Masked Language Modeling T5 (2020-07) Permuted Language Modeling XLNet (2020-01) Denoising Auto Encoder BART (2019-10) Contras
![BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介! Part 1 学習方法編 - ELYZA Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/5283c61888f0365f5f829a5dbb3c8ce4ff2b5087/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fe%2Felyza_ryomisawa%2F20210219%2F20210219123834.png)