ys0000のブックマーク - はてなブックマーク

計算時間とメモリの壁を打破！Transformerの次世代モデルReformer
3つの要点 ✔️ Local-Sensitive-Hashingにより必要な要素同士のAttentionを計算することができるようになった ✔️ Reversible layerによってレイヤー数に比例して増加するactivationを保存するメモリの削減 ✔️ transf ormerの計算量を$O(L^2)$から$O(L \log L)$まで削減した Reformer: The Efficient Transf ormer written by Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya (Submitted on 13 Jan 2020 (v1), last revised 18 Feb 2020 (this version, v2)) Comments: ICLR 2020 Subjects: Machine Learning (cs.L
ys0000 2023/09/03
リンク
ついに出た！本当にDETR！物体検出の革新的なパラダイム
3つの要点 ✔️ ついにTransf ormerを物体検出に応用 ✔️ End-to-endなモデルを実現し、人手による設計を削減 ✔️ 物体検出を直接的な集合予測問題として再定義 End-to-End Object Detection with Transf ormers written by Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko (Submitted on 26 May 2020 (v1), last revised 28 May 2020 (this version, v3)) Comments: Published by arXiv Subjects: Computer Vision and Pattern Reco
ys0000 2020/06/09
https://github.com/facebookresearch/detr Apache2.0か。使えそうなら使ってみたい。記事は詳報がログインしないと見れないので英語の元記事を後でみる。
リンク
1

はてなブックマーク