変分と機械学習 - HELLO CYBERNETICSはじめに 変分法 変分 微分との差異 微分可能 変分と汎関数 補足 機械学習 関数近似 変分ベイズ法 はじめに 変分法 変分 変分の概念は下記の通りです。 引数 $x$ を受け取る関数 $F[x]$ に関して、引数を $x + h$ へ変えることを考えましょう。すると、引数を変えたことによる $F$ の変化量は $$ \delta F[x] = F[x + h] - F[x] $$ と表すことができます。この $\delta F[x]$ を変分と呼びます。 微分との差異 さて、上記までの議論を見てみると、これは普通にいつも考える微分と何も違いが無いように見えるでしょう。 実際、微分とは、関数 $f(x)$ の引数 $x$ を $x + h$ と変化させた時の $f$ の変化量 $$ {\rm d} f = f(x + h) - f(x) $$ のことを指すのでした。何やら文字の書き方がちょ
