VQ-VAEの理解 - Qiita

はじめに VQ-VAEはVector Quantised(ベクトル量子化)という手法を使ったVAEです。 従来のVAEでは潜在変数zを正規分布(ガウス分布)のベクトルになるような学習を行いますが、VQ-VAEでは潜在変数を離散化した数値になるような学習を行うVAEです。モデルは(Encoder)-(量子化部分)-(Decoder)から成りますが、Encoder、Decoderについては畳み込みを行うVAEと大きく変わりません。 VQ-VAEの論文と実装をチラッと見たところ、その量子化担当分の作りの理解が二転三転したため備忘録として自分の理解をまとめます。 Embeddingって何 VQ-VAEを語る上でおそらく避けて通れないのがEmbeddingでしょう。 自分のようにあまり理解してないとこれがどんな処理か微妙に分かりづらいです。 自分には実例を見るのが最も分かりやすかったです。 例えば以