ざっくり理解する分散表現, Attention, Self Attention, Transformer - Qiita

はじめに 自己紹介 : Pythonでデータ分析とかNLPしてます。 Attention, Self Attention, Transformerを簡単にまとめます。 間違いがあったらぜひコメントお願いします。 モチベーション BERT(Google翻訳で使われてる言語モデル)を理解したい。 BERT : 双方向Transformerを用いた言語モデル。分散表現を獲得でき、様々なタスクに応用可能。 Transformer : Self Attentionを用いたモデル。CNNとRNNの進化系みたいなもの。 Self Attention : Attentionの一種。 Attention : 複数個の入力の内、どこを注目すべきか学習する仕組み。 分散表現 : 文・単語・文字等を、低次元(100〜1000次元くらい)のベクトルで表現したもの。 BERTを理解するためには分散表現, Attent

[misshiki]

“Attention, Self Attention, Transformerを簡単にまとめます。”図解と箇条書きでコンパクトに紹介していて良い。