【Transformer の位置情報 5 選】APE と Relative PE と RoPE と ALiBi と NoPE - Qiita

Transformer の位置情報 Transformer は順序に依存しない自己注意機構を採用しているため、入力シーケンス内の各トークンの位置情報を明示的にモデルに入れ込む必要があります。 そして、この位置情報の入れ込み方にいくつかバリエーションがあります。 Absolute Positional Embeddings (Positional Encoding) Relative Positional Embeddings (Relative PE) Rotary Positional Embeddings (RoPE) Attention with Linear Biases (ALiBi) Transformer without Positional Embeddings (NoPE) それぞれ解説していきます。 Absolute Positional Embeddings (APE