BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
ICLR 2022 Spotlight: Demystifying local attention and dynamic depth-wise convolution - Microsoft Research
In the past two years, there have been numerous papers written on Transformer, and researchers are designing Transformer models for all kinds of tasks. However, is attention, the core module of Transformer, really stronger than convolution? This paper may bring to you a new perspective. Researchers from Microsoft Research Asia have looked into local attention and dynamic depth-wise convolution and
しゅんけー on Twitter: "[2109.04553] Is Attention Better Than Matrix Decomposition? https://t.co/Jy02R1B56s"
[2109.04553] Is Attention Better Than Matrix Decomposition? https://t.co/Jy02R1B56s
![しゅんけー on Twitter: "[2109.04553] Is Attention Better Than Matrix Decomposition? https://t.co/Jy02R1B56s"](https://cdn-ak-scissors.b.st-hatena.com/image/square/26e1fc1c8cae68f718b99ee67b490660920988a9/height=288;version=1;width=512/https%3A%2F%2Fpbs.twimg.com%2Fprofile_images%2F1038673933736730625%2F2xMW0vMv.jpg)
作って理解する Transformer / Attention - Qiita
こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロソフトリサーチoutreach on Twitter: "Transformerのコアモジュールであるattentionは本当に畳み込みより強いのでしょうか？ ICLR 2022 Spotlight: Demystifying local attention and dynamic de… https://t.co/q4MEF8mEtr"
goto@meta翻訳開発者 on Twitter: "Attentionがどのように学習しているのかを分析する論文。 この学習は2段階プロセスに近似でき、 ・まず単語がどう変換されるかを学習 ・次に(単語の変換先は分かっているので)どの単語に注目するかを学習 というような仕組みらしい… https://t.co/7vBVxVWbl9"
kashi_pong on Twitter: "某用で「注意機構（attention）完全に理解した！」ってなったやつをまとめました https://t.co/lk1vKBZzx2"