某所ディープラーニング勉強会の発表資料です。 AutoEncoderって何? 出力データが入力データをそのまま再現する3層ニューラルネットだよ。 普通は、隠れ層の次元を入力層&出力層より小さくするよ。 AutoEncoderの意味は? 次元削減だよ。 データが分布する多様体を推定しているともいえるよ。 主成分分析に似てるけど、シグモイド関数とかの非線形変換もいけるよ。 AutoEncoderはいつ使うの? 事前学習だよ。ニューラルネット全体で学習を行うための良い初期パラメータを得るのに行うよ。 訓練データで教師無し学習をしていくよ。n層目まで完了したらn+1層目の学習をするよ。 誤差の逆伝播が遠くの層へうまく伝わらない問題を解決したよ。 計算式 アフィン変換(線形変換+平行移動)して活性化関数に食わせる。 入力層:$x \in [0,1]^d$ 隠れ層:$y = f_{W, b}(x) =
![ディープラーニング勉強会 AutoEncoder - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9ae5018191ecc52e057548fb3d1bb57ffb9b24e1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgzJTg3JUUzJTgyJUEzJUUzJTgzJUJDJUUzJTgzJTk3JUUzJTgzJUE5JUUzJTgzJUJDJUUzJTgzJThCJUUzJTgzJUIzJUUzJTgyJUIwJUU1JThCJTg5JUU1JUJDJUI3JUU0JUJDJTlBJTIwQXV0b0VuY29kZXImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWQwNDYzNjNhNzI2MjMyNmJiMzI0M2MzOGQ1NDFmZDQx%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwcGl5bzcmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTYyYWQzODM1MjUxOTM0OGY4NjFjNGRlNzI2MWRiMmQz%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dba04f115755963e4ddebb84ee3950303)