【論文シリーズ】貪欲法による事前学習で深層学習の精度を上げる - Qiita

原文 教師なし多段特徴学習による学習歩行者検知 (Pedestrian Detection with Unsupervised Multi-Stage Feature Learning) Pierre Sermanet (2013) 1. 骨子の理論 (1)教師なし学習 学習の骨子は畳み込みニューラル・ネットワーク（CNN）である。 ただし、事前に教師なし学習で、層を積み上げている点に特徴がある。 このような事前学習の方法を貪欲法 (Greedy Method) という。 単層の学習器には、スパース正則化自己符号化器を用いる。 これらを合わせて、畳込み予測スパース分解モデル(Convolutional Predictive Sparse Decomposition; CPSD)と総称される。 パラメータの更新は、誤差項と正則化項の重ねあわせで評価される。 f(x;g,k,b) = \til