まちがえて鋼の錬金術師の最終巻を2冊買ってしまいました。研究開発チームの徳永です。 前回は、線形識別器まで説明しました。今回はその続きからです。 まずはじめに、前回の内容を少しおさらいしておきましょう。線形識別器ではそれぞれの入力に対して重みがつき、その重みパラメーターを調節するのでした。この調節を最適化といいます。 パラメーターの最適化とは パラメーターを調節する、といっても、どのようにして調節すればいいのでしょうか?調節して、パラメーターが良くなったということを、どうやって判断すればいいでしょうか? 例えば、パラメーターを調節することによって、間違いが減ったら、それはパラメーターがよくなった、と言えるでしょうか?まぁ、これはよくなったと言えそうですね。(実は、これはちょっと雑すぎる議論なのですが、それについては後で説明します。) 上の例のように、パラメーターを調節する際にはなんらかの目
![劣微分を用いた最適化手法について(2) - Preferred Networks Research & Development](https://cdn-ak-scissors.b.st-hatena.com/image/square/92e9d18a95fa6b2a70df179fd38f027e7d66dcd6/height=288;version=1;width=512/https%3A%2F%2Ftech.preferred.jp%2Fwp-content%2Fuploads%2F2019%2F11%2Fogimage.png)