language models まとめTranscript Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Language Models まとめ 2020/05/26 DeNA Co., Ltd. Strictly confidential 1 Kosuke Sakami 目次 ▪ 前置き ▪ BERT の architecture (単語紹介) ▪ 紹介 ⁃ BERT ⁃ GPT-2 ⁃ Transformer-XL (実験なし) ⁃ XLNet ⁃ RoBERTa ⁃ ALBERT ⁃ T5 (実験なし) ⁃ BART ⁃ ELECTRA 前置き ▪ Language Models を紹介するよ！ ⁃ 分類問題を想定します ▪ huggingface の transformers ライブラリの中から紹介していく ⁃ ForSequenceClassificati
