微分の初歩から勾配降下法まで - Qiita

機械学習に必要な高校数学やり直しアドベントカレンダー Advent Calendar 2016の11日目の記事です。10日目はyajuさんで線形回帰で二乗和を2で割る理由についてでした。 はじめに 難しいとよく言われる微分ですが、そんなに難しい概念ではないですし、とても便利な武器になるんですよ！という記事です。 変化率 まず、最初に変化率という概念について考えてみます。点aから点bへ変化するとき変化率は (yの変化量)/(xの変化量) 、すなわち $$ \frac{By-Ay}{Bx-Ax} $$ と表せます。このように2点間でxの変化量に対するyの変化量の割合を変化率と呼び、点A,Bを通る直線を引いたときの傾きと等しい値となります。 1点の変化率 2点間の距離を小さくしていくことを考えていきます。点Bを点Aに近づけていくことで1点での変化率に近づけていくことができます。この1点での変化率