最近はzennで記事を書いています。 zenn.dev もう我慢の限界。。HatenaBlogが使いにく過ぎる。。 以下に以降した。 list - GROWI Transformer - Transformerの特徴のひとつは、学習を並列実行させることができることである。 RNNでは、時系列毎に結果を渡していく必要があるためシーケンシャルに処理をする必要がある。 - Transformerでは、並列学習させるため、以下の機構がある。 - Encoderへの入力は、データを配列で一気に渡す。(実際には、ミニバッチ学習させるため、「バッチ数 x 単語数 x 単語ベクトル次元数」となる。) - 単語の順番で文章ベクトルを計算するのではなく、Attentionで単語間の関連を見て文章ベクトル化する。 - 但し、単語の順番を考慮しないと、文章の意味が変わる場合があるので、位置情報を単語ベクトルに付与
![shutdown -r now](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)