PRML§５から多層パーセプトロンの実装 - 木曜不足「パターン認識と機械学習(PRML)」５章の勉強して、ニューラルネットワーク実装してみたくならんかったらヤバいよね、ってくらい実装してみろオーラが出てたので、書いた。 少し汎用的に作ってみたかったので、R ではなく Ruby。 http://github.com/shuyo/iir/tree/05e118c62a96cd6f7ab86c55eddebdb8dd148bc5/neural ニューラルネットワーク(多層パーセプトロン)の実装 逐次的勾配降下法で重みパラメータを学習する 順伝播＆中心差分による数値微分で勾配を求める(誤差逆伝播も後で) error function は二乗和誤差関数(交差エントロピー誤差関数も後で) 正規化項は未サポート(over fitting するところまでまだ行かない) ユニットを組み合わせて自由にネットワークを組める。 TanhUnit や SigUnit
