Transformerの成長は止まらない！Transformerの改善に関する研究のまとめ Part1

3つの要点 ✔️ Transformerの改良版"Efficient Transformer"について ✔️ Efficient Transformerの大まかな区分について ✔️ Efficient Transformerの関連情報について Efficient Transformers: A Survey written by Yi Tay, Mostafa Dehghani, Dara Bahri, Donald Metzler (Submitted on 14 Sep 2020 (v1), last revised 16 Sep 2020 (this version, v2)) Comments: Accepted at arXiv Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Computa

[misshiki]

“Efficient Transformer全般にわたる説明を行い、次の記事(Part2(明日公開),Part3(明後日公開))では個別のモデルについてのより具体的・詳細な解説を行います”