エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
TransformerにおけるSoftmax関数の計算量とLinear Transformer - あつまれ統計の森
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
TransformerにおけるSoftmax関数の計算量とLinear Transformer - あつまれ統計の森
Transformerは汎用的に用いることのできる強力なDeepLearningである一方、入力系列のトークンが多くなる... Transformerは汎用的に用いることのできる強力なDeepLearningである一方、入力系列のトークンが多くなると計算量も増大します。当記事ではTransformerの各Attention処理でのSoftmax計算の軽減にあたっての研究である、Linear Transformer論文について取りまとめました。 作成にあたってはLinear Transformer論文や、「A Survey of Transformers」の内容を参考にしました。 ・用語/公式解説 https://www.hello-statisticians.com/explain-terms 前提の確認 Transformerの仕組みの概要 Dot Product Attentionに主に基づくTransformerの仕組みについては既知である前提で当記事はまとめました。下記などに解説コンテンツを作成しましたので