サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
iPhone 16
qiita.com/gensal
はじめに CNNやRNNと並んで重要なニューラルネットワークの仕組みとして、アテンション機構が挙げられます。 アテンション機構は入力データのどこに注目するべきかを学習することが可能です。 従来、アテンション機構はRNNやCNNなどと組み合わせて実装されることが専らでしたが、 「Attention Is All You Need」にてアテンション機構のみを用いたモデル(RNNやCNNを用いない!)「Transformer」が登場しました。 本モデルの特徴として、高い精度と容易に並列処理が可能な点が挙げられます。 登場直後は自然言語処理を中心として利用されてきましたが、現在では異なるタスクでも派生モデルが良い結果を残しています。(画像分類のViT、セグメンテーションのSegFormerなど) そこで今回は、近年のニューラルネットワークモデルを学ぶ上で重要なTransfomerの理解を深めるため
このページを最初にブックマークしてみませんか?
『qiita.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く