Inside of Deep Learning （ディープラーニングの基本要素） - Qiita

通常は出力値を予測するだけですが、トレーニング中はこの予測結果をフィードバックします。入力データに対しての正解データ（教師データ）を用意してやり、損失関数という式を使って予測値が正解ととれだけ離れているかを計算します。 これを元に、現在のモデルをどのように修正すれば正解に近づく可能性が高いを計算します。これがオプティマイザです。損失値の勾配とオプティマイザによってネットワークがより強化され、この一連の流れがバックプロパゲーションです。 ネットワークはもともとはランダムの初期値を持っています。これが一度のバックプロパゲーションにより強化され、少しづつフォワードプロパゲーション、バックプロパゲーションを繰り返していく事でシステム内の初期値（パラメータ）が学習していきます。 モデル、伝達関数 モデル内の実際の計算を見てみましょう。簡便のため一つのレイヤーの局所的な計算を図解します。 x1からx4