はてなブックマーク

背景 Transformerは近年の様々なAIモデルに使用されており、その理屈を理解したく勉強中です。 その中でもPositional Encodingでは具体的に何をやっているのかイメージ出来なかったので、少しでも内容理解に繋げるために記事を書きました。 Positional Encodingとは 端的に言うと、Self-Attentionではトークンの位置情報がないので、ベクトルを足して位置情報を表現しようというものです。 TransFormerではEncoderとDecoderどちらにも使われています。 計算式は以下の通りです。 ここではトークンの位置をpos、トークン埋め込み後のベクトルにおける各次元のインデックス値をi、トークン埋め込み後のベクトル次元数を$d_{model}$としています。 一体何をしているの？？ Positional Encodingの計算式や目的はわかりまし