NIPS2014読み会で深層半教師あり学習の論文を紹介しました

今週の火曜日 (1/20) に東大で NIPS2014 読み会 が開かれました． NIPS 自体の参加者数が増えているのと同様に，読み会も去年にくらべてさらに多くの人が集まりました． その中で僕もひとつ論文を紹介しました． 紹介した論文の著者は，スライド中にも出てくる変分 AutoEncoder の考案者です． 変分 AE では，生成モデルと認識モデルをそれぞれニューラルネットで定義して，確率変数としてそれらの出力をパラメータとする正規分布を使いました． 生成モデルを認識モデルで近似したときの変分下界は，認識モデルに関する期待値の形をしています． このように，最適化の対象となる分布に関する期待値の最適化は，一般には REINFORCE アルゴリズムによる勾配法を使います． REINFORCE アルゴリズムは，期待値を積分で書いた時に，積の微分を使って勾配を計算し，それを対数微分の公式 $x

[aidiary]

Variational Autoencoder

[otomarukanta]

“ちなみに，この論文の著者は Adam という最適化手法を ICLR2015 に提出しています． これはモーメンタム法を RMSprop に組み込んだような手法です． 今回読み会で紹介した論文でも「モーメンタム法を使った RMSprop」を使って