エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
SparseBERTの紹介 - Retrieva TECH BLOG
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
SparseBERTの紹介 - Retrieva TECH BLOG
こんにちは。レトリバのリサーチャーの木村@big_wingです。 今回は今年のICML2021で発表されたSparseBER... こんにちは。レトリバのリサーチャーの木村@big_wingです。 今回は今年のICML2021で発表されたSparseBERT: Rethinking the Importance Analysis in Self-attentionを紹介します。 SparseBERTの概要 どの位置のattentionが重要か? self-attention層の行列表現 attentionマスク構造の探索問題として定式化 実験結果 理論解析: 対角要素のattentionなしでもUniversal Approximabilityが成立 SparseBert: end-to-endでattentionマスクを学習する まとめ SparseBERTの概要 紹介する論文は西鳥羽が以前のブログで紹介したBig Birdと同様に、Transformerにおけるattentionのスパース化についての論文です。Tr