Efficient Transformer専用ベンチマーク「Long Range Area」登場！

3つの要点 ✔️ Efficient Transformerのベンチマーク「Long Range Arena」の提案 ✔️ 様々なモダリティにわたる、長いシーケンスからなるタスクを網羅 ✔️ 過去に提案された様々なモデルの内、10種類を比較・検証 High-Performance Large-Scale Image Recognition Without Normalization written by Andrew Brock, Soham De, Samuel L. Smith, Karen Simonyan (Submitted on 11 Feb 2021) Comments: Accepted to arXiv. Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG);