自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介

テクノロジーカテゴリーの変更を依頼記事元:

medium.com

11 usersがブックマークコメント

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fmedium.com%2Flsc-psd%2F%25E8%2587%25AA%25E7%2584%25B6%25E8%25A8%2580%25E8%25AA%259E%25E5%2587%25A6%25E7%2590%2586%25E3%2581%25AE%25E5%25B7%25A8%25E7%258D%25A3-transformer-%25E3%2581%25AEself-attention-layer%25E7%25B4%25B9%25E4%25BB%258B-a04dc999efc5" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://medium.com/lsc-psd/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%81%AE%E5%B7%A8%E7%8D%A3-transformer-%E3%81%AEself-attention-layer%E7%B4%B9%E4%BB%8B-a04dc999efc5">自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介</a><a href="https://b.hatena.ne.jp/entry/s/medium.com/lsc-psd/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%81%AE%E5%B7%A8%E7%8D%A3-transformer-%E3%81%AEself-attention-layer%E7%B4%B9%E4%BB%8B-a04dc999efc5">はてなブックマーク - 自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介

全てのTransf ormer記事はTransf ormerから始まる「Transf ormer」概要2017年中旬、Googleが発表した論文「... 全てのTransf ormer記事はTransf ormerから始まる「Transf ormer」概要2017年中旬、Googleが発表した論文「Attention is all you need」で提出されたモデル「Transf ormer」は、深層学習の自然言語処理(NLP)分野でいまはデファクトスタンダードとして使われています。Transf ormerは要するに、過去の自然言語処理(NLP)で多く使われる再帰型ニューラルネットワーク(RNN)や畳み込みニューラルネットワーク(CNN)を「Self-Attention Layer」に入れ替えたモデルです。それ以降、大抵の自然言語処理(NLP)分野で発表された研究や論文は、Transf ormerで再構築して発表されています。期待を裏切らなく、再構築されたモデルの結果は、以前の結果を上回っています。 Transf ormerは2017年に公開され、今