Extracting and Composing Robust Features with Denoising Autoencoders [Vincent 2008] では、Deep Learning の一手法である、Denoising Autoencoders(DA)による学習手法が提案されています。 DAでは、入力データの一部をあえて損傷させ、損傷したデータを復元するような訓練を行います。その際、[Vincent 2008]には確率的勾配降下法(stochastic gradient descent, SGD)を用いればよい、との旨が書かれていますが、いざ実装しようとした時、数式が少し複雑でしたので、その導出過程についてまとめたいと思います。 記号等はなるべく文献に合わせてあるので、細かな説明は省いてあります。 また、[Vincent 2008]に従って、入力データがとる値は、0 or
![Denoising Autoencodersにおける確率的勾配降下法(数式の導出) - Yusuke Sugomori's Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/912e9e10f77f370b663f9f3de04a046bae1f96c7/height=288;version=1;width=512/http%3A%2F%2Fyusugomori.com%2Fassets%2Fogp.png%3F20140224)