エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介
全てのTransformer記事はTransformerから始まる「Transformer」概要2017年中旬、Googleが発表した論文「... 全てのTransformer記事はTransformerから始まる「Transformer」概要2017年中旬、Googleが発表した論文「Attention is all you need」で提出されたモデル「Transformer」は、深層学習の自然言語処理(NLP)分野でいまはデファクトスタンダードとして使われています。Transformerは要するに、過去の自然言語処理(NLP)で多く使われる再帰型ニューラルネットワーク(RNN)や畳み込みニューラルネットワーク(CNN)を「Self-Attention Layer」に入れ替えたモデルです。 それ以降、大抵の自然言語処理(NLP)分野で発表された研究や論文は、Transformerで再構築して発表されています。期待を裏切らなく、再構築されたモデルの結果は、以前の結果を上回っています。 Transformerは2017年に公開され、今