劣微分を用いた最適化手法について(2) - Preferred Networks Research & Development
まちがえて鋼の錬金術師の最終巻を2冊買ってしまいました。研究開発チームの徳永です。 前回は、線形識別器まで説明しました。今回はその続きからです。 まずはじめに、前回の内容を少しおさらいしておきましょう。線形識別器ではそれぞれの入力に対して重みがつき、その重みパラメーターを調節するのでした。この調節を最適化といいます。 パラメーターの最適化とは パラメーターを調節する、といっても、どのようにして調節すればいいのでしょうか？調節して、パラメーターが良くなったということを、どうやって判断すればいいでしょうか？ 例えば、パラメーターを調節することによって、間違いが減ったら、それはパラメーターがよくなった、と言えるでしょうか？まぁ、これはよくなったと言えそうですね。（実は、これはちょっと雑すぎる議論なのですが、それについては後で説明します。） 上の例のように、パラメーターを調節する際にはなんらかの目
劣微分を用いた最適化手法について(3) - Preferred Networks Research & Development
進撃の巨人3巻が11月に発売されるものと勘違いして本屋を探し回っていましたが、発売日は12月9日でした。徳永です。 前回は、確率的勾配降下法（SGD）について説明しました。今回はいよいよ、劣微分を用いた最適化手法に付いての説明をおこないます。 前回の復習 前回は、最大エントロピーモデルによる線形識別器の学習方法について説明し、最後に正則化について紹介しました。正則化については重要性を主張しきれていなかった気がするので、もう一度過学習と正則化について説明しておきたいと思います。 前回、間違いは少ないほうがいいよね、というような話をしましたが、間違いには2種類あります。一つは既知のデータに対する間違いの多さで、もう一つは未知のデータに対する間違いの多さです。既知のデータに対する間違いを経験損失と言い、未知のデータに対する間違いを期待損失、もしくは汎化誤差と言います。（間違いと損失はちょっと違い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
