Pythonで3層パーセプトロンの誤差逆伝播を実装してみる - TadaoYamaokaの開発日記

入力層、隠れ層、出力層で構成される単純なニューラルネットワークで、 誤差逆伝播を計算します。 隠れ層の活性化関数はsigmoid、 出力層の活性化関数はsoftmaxとします。 誤差関数(損失関数)は、交差エントロピーを使用します。 それぞれの式は以下の通りです。 sigmoid: softmax: softmaxの交差エントロピー: ここで、は各層の入力ベクトル、は教師データのベクトル、は出力層の出力ベクトルとします。 ネットワークのパラメータの行列は、 1層目を、 2層目をで表します。 行列の成分の添え字は、jが出力側のベクトル成分、iが入力側のベクトル成分を表します。 上付きの数字nは、何番目の層かを表します。 順伝播 順伝播は、入力から出力を以下の式で計算します。 出力は、出力層の活性化関数にsoftmaxを使用しているので、ベクトルの各成分がクラスを表し、値がそのクラスに属する確

[letitride]

pythonでの逆伝播の実装。x:入力層, z1:前層のニューロン値, y:予測値, d:学習データ