前回、前々回とそれぞれロジスティック回帰(Logistic Regression)、制約付きボルツマンマシン(Restricted Boltzmann Machine, RBM)を紹介しました。 手法の説明については、各記事を参照してください。 今回は、これら2つを組み合わせて実装されている Deep Belief Nets (DBN) について紹介します。今回のコードは長いので、記事の最後の方に載せています。 DBNは Greedy Layer-Wise Training of Deep Networks [Bengio 2007] で提案されている手法ですが、こちらがDeep Learningのパイオニアと言っても過言ではありません。 DBNは多層ニューラルネットワークの形をしています。従来の研究では、多層にするほど精度が下がるという問題が指摘されていましたが(多層のため誤差の重みが少
![PythonによるDeep Learningの実装(Deep Belief Nets 編) - Yusuke Sugomori's Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/912e9e10f77f370b663f9f3de04a046bae1f96c7/height=288;version=1;width=512/http%3A%2F%2Fyusugomori.com%2Fassets%2Fogp.png%3F20140224)