PythonによるDeep Learningの実装（Logistic Regression 編） - Yusuke Sugomori's Blog

前回の制約付きボルツマンマシン（Restricted Boltzmann Machine, RBM）編に引き続き、今回はロジスティック回帰（Logistic Regression）のコードを紹介します。 Deep Learningにおいて、ロジスティック回帰は最後の出力層で用います。途中の層でRBMにより特徴抽出を行い、最後にロジスティック回帰によりラベルを出力して学習を行います。 ソースは以下。 重み行列のWとバイアス項のbは、確率的勾配降下法（Stochastic Gradient Descent, SGD）により更新します。その際、L2正則化を導入することで、高周波のノイズを取り除き、過学習を防ぐことができます。また、多クラス分類に用いるため、sigmoid関数ではなく、softmax関数を使っています。 コードを実行すると、交差エントロピー誤差関数が返す値が減少していくのが分かるか