3つの要点 ✔️ 文章要約タスクに特化した事前学習モデルであるPEGASUSが登場 ✔️Gap Sentence Generation(GSG)を導入 ✔️12の文章要約タスクで高性能、少ない学習データで既存モデルを超える PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization written by Jingqing Zhang, Yao Zhao, Mohammad Saleh, Peter J. Liu (Submitted on 18 Dec 2019) subjects : Computation and Language (cs.CL) はじめに Transformerを用いた事前学習モデルには、BERT、XLNet、RoBERTa、ALBERTなどがあります。これらのモデル