非情報系大学院生が一から機械学習を勉強してみた #4：最急降下法 - Qiita

#はじめに 非情報系大学院生が一から機械学習を勉強してみました。勉強したことを記録として残すために記事に書きます。 進め方はやりながら決めますがとりあえずは有名な「ゼロから作るDeep-Learning」をなぞりながら基礎から徐々にステップアップしていこうと思います。環境はGoogle Colabで動かしていきます。第4回はニューラルネットワークによる学習の準備として最急降下法を整理します。 #目次 数値微分 偏微分 勾配 最急降下法 #1. 数値微分 ご存知の通り微分は以下のように表せます。 $$ \frac{df(x)}{dx}=\lim_{h\rightarrow 0}\frac{f(x+h)-f(x)}{h}\tag{1} $$ $h$を極限まで小さくすればよいので以下のような数値計算による実装が考えられます。 この実装は良くありません。理由は2つあります。 計算機内部の丸め誤差を