久しぶりのブログ更新となります。 今回は、Dropout + ReLU のコード(python)を紹介します。 最近の Deep Learning 界隈は、もっぱらDropoutと新しい活性化関数の組み合わせが多いみたいですね。 しばらく触れないでいる内に、以前は最前線だった Deep Belief Nets や Stacked Denoising Autoencoders がすっかり下火になってしまったようで…。 Dropout + ReLU や Dropout + Maxout などが流行っているみたいですが、これは結局、いかに疎な(sparseな)ニューラルネットワークを構築できるかが学習の鍵になっている、ということなのでしょう。シンプルが一番というべきなのでしょうか…。 ともあれ、Dropoutは実装が難しくないのは嬉しい限りです。 ReLU (Rectified Linear U
![PythonによるDeep Learningの実装(Dropout + ReLU 編) - Yusuke Sugomori's Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/912e9e10f77f370b663f9f3de04a046bae1f96c7/height=288;version=1;width=512/http%3A%2F%2Fyusugomori.com%2Fassets%2Fogp.png%3F20140224)