Denoising Autoencodersにおける確率的勾配降下法（数式の導出） - Yusuke Sugomori's BlogExtracting and Composing Robust Features with Denoising Autoencoders [Vincent 2008] では、Deep Learning の一手法である、Denoising Autoencoders（DA）による学習手法が提案されています。 DAでは、入力データの一部をあえて損傷させ、損傷したデータを復元するような訓練を行います。その際、[Vincent 2008]には確率的勾配降下法（stochastic gradient descent, SGD）を用いればよい、との旨が書かれていますが、いざ実装しようとした時、数式が少し複雑でしたので、その導出過程についてまとめたいと思います。 記号等はなるべく文献に合わせてあるので、細かな説明は省いてあります。 また、[Vincent 2008]に従って、入力データがとる値は、0 or
