(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門

(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり

[yarumato]

“RNN（再帰的ニューラルネットワーク）の欠点：長い入力列に対してはうまく動かなかった。Transformerはこれをどう解決したか。Transformerの動作原理：アルゴリズムは直線的。以下はその直感的な Pythonバージョン”

[stealthinu]

Transformerをまだぜんぜん直感的に理解できてないので、この説明はTransformer部分のみをPythonのコードで説明しててちょっとわかりやすかった。

[misshiki]

“Transformer アルゴリズムを簡単な Python コードで示すと、 以下のようになる”コードから理解するコンセプトはいいと思った。全部のコードがてゃんと動く。

[pekee-nuee-nuee]

まばたく宇宙のディスティニー　そめて〜〜

[blueboy]

＞　それぞれの「関係」は対象となる 2つの単語および 関係のタイプ…… Transformer の優れた点は ……これらの関係を自動的に発見できるということである。 →　パターンの自動発見という方法が　Deep Learning の基本原理。

[pwatermark]

敢えて冗長にすることで性能向上するなら、本来削っちゃいけない情報だったはずのものを削ってたってことになるのかな

[NLPer]

コード例がありがたい。

[underhill]

いかんどうしてもコンボイ司令官のお顔がちらつく…

[babaye]

Transformer完全に理解した

[cartman0]

とてもいい

[puhu208n]

無言ブクマ不可避

[vanish_l2]

ありがてえ