Transformer
2022年6月8日にSSII 2022のチュートリアル講演で使用 2023年2月2日に順天堂大学産学連携講座：AI技術とビジネス活用で使用 2017年に機械翻訳を対象として提案されたTransformerは、従来の畳込みや再帰を排して自己注意機構を活用したニューラルネットワークです。2019年頃からコンピュータビジョン分野でも急速に応用が進んでいて、より柔軟かつ高精度なネットワーク構造としての地位を確立しつつあります。本スライドでは、そんなTransformerの最前線を概説しています。基盤モデルやVision Transformer、MLP/CNNの逆襲についても取り扱っています。 ・そもそもTransformerって？ ・Transformer旋風と基盤モデル ・Transformerのノウハウ ・Transformerはオワコン？！ ・CNNはオワコン？！
自然言語処理と時系列を考慮した推薦システムの関係（Transformer4Rec） - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のT.Y.です。よろしくお願いします。 皆さん、推薦システム使っていますか？ ここで使っていないと答える方はほぼいないのではないでしょうか。 わかりやすいところではSNSや動画サイト、ECサイトで使われていますが、その他にもニュースサイトやインターネット上の広告など、気づかないうちに様々な場所で我々は情報を推薦されています。 そんな推薦システムですが、実は機械学習の分野で推薦システムは自然言語処理と深い関わりがあるという話があります。こう言うと、「ニュースとかSNSとか、テキストを含んだ情報を推薦するのだから当たり前では？」と思われる方もいるかもしれません。 確かにテキスト情報は推薦システムを構築するときによく使う情報で、テキスト情報を扱うときには自然言語処理は欠かせないのですが、今回のお話はそういう関わりの話ではありません。 今回の話は、自然言語処理の機械
Conformer：Transformerを音声認識に応用！？ GoogleによるTransformer×CNNが凄すぎる！！
3つの要点 ✔️ TransformerとCNNを組み合わせたモデル，Conformerを音声認識に応用 ✔️ 畳み込みモジュールがConformerにおいて最も重要であることがわかった ✔️ 既存の音声認識研究の中でも最高の精度を確認 Conformer: Convolution-augmented Transformer for Speech Recognition written by Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, Ruoming Pang (Submitted on 16 May 2020) Comments: Accepted at Interspeech20
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
より良いTransformerをつくる
