某所ディープラーニング勉強会の発表資料です。 AutoEncoderって何? 出力データが入力データをそのまま再現する3層ニューラルネットだよ。 普通は、隠れ層の次元を入力層&出力層より小さくするよ。 AutoEncoderの意味は? 次元削減だよ。 データが分布する多様体を推定しているともいえるよ。 主成分分析に似てるけど、シグモイド関数とかの非線形変換もいけるよ。 AutoEncoderはいつ使うの? 事前学習だよ。ニューラルネット全体で学習を行うための良い初期パラメータを得るのに行うよ。 訓練データで教師無し学習をしていくよ。n層目まで完了したらn+1層目の学習をするよ。 誤差の逆伝播が遠くの層へうまく伝わらない問題を解決したよ。 計算式 アフィン変換(線形変換+平行移動)して活性化関数に食わせる。 入力層:$x \in [0,1]^d$ 隠れ層:$y = f_{W, b}(x) =