劣微分を用いた最適化手法について(3) - Preferred Networks Research & Development
進撃の巨人3巻が11月に発売されるものと勘違いして本屋を探し回っていましたが、発売日は12月9日でした。徳永です。 前回は、確率的勾配降下法（SGD）について説明しました。今回はいよいよ、劣微分を用いた最適化手法に付いての説明をおこないます。 前回の復習 前回は、最大エントロピーモデルによる線形識別器の学習方法について説明し、最後に正則化について紹介しました。正則化については重要性を主張しきれていなかった気がするので、もう一度過学習と正則化について説明しておきたいと思います。 前回、間違いは少ないほうがいいよね、というような話をしましたが、間違いには2種類あります。一つは既知のデータに対する間違いの多さで、もう一つは未知のデータに対する間違いの多さです。既知のデータに対する間違いを経験損失と言い、未知のデータに対する間違いを期待損失、もしくは汎化誤差と言います。（間違いと損失はちょっと違い
劣微分を用いた最適化手法について(1) - Preferred Networks Research & Development
みなさん、こんにちは。もしくははじめまして。研究開発チームの徳永です。 とんかつ教室のロースおじさんぐらいにぶっとんだブログを書いていきたい、そういう情熱をもって僕はこのエントリを書きはじめました。しかし、現実は厳しく、そのようなエントリを公開してしまうと、2日後ぐらいには僕の机がオフィスからなくなっていそうな気配が濃厚になってきています。そこで今日はおとなしく、最適化と機械学習の関係について、みたいなところを書いていきたいと思います。なお、タイトルにもありますが、このシリーズでは最終的には劣微分を用いた最適化手法の論文をいくつか紹介したいと考えています。 情報科学における最適化問題というのはいろいろな種類があります。最適化問題っていろんなのがあるんやねー、みたいなところに興味がある人は、wikipediaとかで確認してください。最近、機械学習と呼ばれる技術がいろいろなところで使われるよう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
