3つの要点 ✔️ 自然言語処理でBERTを超える新しい事前学習モデルであるXLNetが登場 ✔️ マスク間の依存関係を学べないというBERTの弱点を、単語の並べ替えによって解決 ✔️ 長文読解タスクであるRACEで人を超えるスコアを達成 XLNet: Generalized Autoregressive Pretraining for Language Understanding written by Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le (Submitted on 19 Jun 2019 (v1), last revised 2 Jan 2020 (this version, v2)) Comments: Published by NIPS 2019.