エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Transformerは優れたモデルか? - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Transformerは優れたモデルか? - Qiita
はじめに この記事は、鈴木大慈先生の論文[1]の付録部分についての備忘録です。 Transformerをベースと... はじめに この記事は、鈴木大慈先生の論文[1]の付録部分についての備忘録です。 Transformerをベースとした生成AIに多額のお金が投資されてます。また、Transformerをベースとした日本語に対応したLLMがリリースされるたびにニュースで取り上げられるなど注目されています。なぜTransformerがすごいのか?という根拠を、数理工学的に解説した論文[1]は、社会的に価値があると思い、備忘録を公開します。 Transformerは優れたモデルか? 論文[1]では、「Transformerは、はたして優れたモデルなのか?」を解析しています。 結論から言うと、 無限次元入力のsequence-to-sequence関数に対し、Transformerは近似・推論能力をもつ Attentionは、入力列に応じて重要なトークンを選択することができる C. Auxiliary Lemmas