講談社機械学習プロフェッショナルシリーズ『深層学習』の学習 第3章 確率的勾配降下法 - Qiita

であれば、（実数の範囲では）0。 p24 「E(w)は一般的に凸関数ではなく、大域的な最小解を直接得るのは通常、不可能です」 凸関数であれば局所的な最小値が大域的な最小値と一致するので、最小値を求めるような最適化問題が簡単になる。c.f. Wikipedia:凸最適化 p24 ∇、∂ \nabla=(\frac{\partial{}}{\partial{x_1}}, \frac{\partial{}}{\partial{x_2}}, \frac{\partial{}}{\partial{x_3}}, ..., \frac{\partial{}}{\partial{x_n}}) \\ \nabla はナブラと呼び、複数の変数がある場合それぞれの変数で偏微分を行う。 \\ \partial はラウンドディーと呼び、偏微分を行う。偏微分とは、対象となる変数以外を定数とみなして、対象となる変数のみ