Contrastive Divergence 法 - 突然終わるかもしれないブログ

Contrastive Divergence法 (Hinton, 2002)について少し勉強したので，そのまとめです． Contrastive Divergence 法とは （確率的な）最適化方法です．正確には正規化定数が分からない（求めるのが困難）確率分布のためのパラメータの最尤法です．特にBoltzmann分布（マルコフ確率場）における最尤法を指します． 何がうれしいか 正規化定数が分からない確率分布に対しても最尤推定量に近い推定量が得られることが利点です． Boltzmann分布の例を挙げます．Boltzmann分布とは \[ p(\boldsymbol{x};\boldsymbol{\theta},\boldsymbol{W})=\frac{1}{Z(\boldsymbol{\theta},\boldsymbol{W})}\exp(-\boldsymbol{\theta}^{\to

[masatoi]

RBMの学習は隠れ変数のある最尤推定だからEMアルゴリズムかなと思ったら対数尤度の勾配がうまく計算できないらしく、サンプリングでやるContrastive Divergence法というのを使うらしい。