3. 発表の構成 • 最適化問題としての定式化 • オンライン確率的最適化 – 確率的勾配降下法 – 正則化学習におけるオンライン確率的最適化 – 構造的正則化学習におけるオンライン確率的最適化 • バッチデータに対する確率的最適化 3
機械学習におけるオンライン確率的最適化の理論
3. 発表の構成 • 最適化問題としての定式化 • オンライン確率的最適化 – 確率的勾配降下法 – 正則化学習におけるオンライン確率的最適化 – 構造的正則化学習におけるオンライン確率的最適化 • バッチデータに対する確率的最適化 3
劣微分を用いた最適化手法について(4) - Preferred Networks Research & Development
徳永です。進撃の巨人3巻が発売される頃までにはこのエントリを公開するつもりだったのですが、無理でした。 前回は、劣勾配法を紹介し、前々回で紹介した確率的勾配降下法と劣勾配法を比較した場合、劣勾配法を用いることによって微分不可能な点があっても最適化が可能になるけれど、解の品質には依然として問題がある場合があり、特にL1正則化に付いてはあまり良い結果が得られない、というところまでお話しました。 今回は劣勾配法の改良に当たる論文として、FOBOSと呼ばれる手法を紹介します。ここから先はしばらく退屈な話が続くかもしれないので、あらかじめ、これらの手法がどうすごいかを語っておきましょう。私がこれらの手法がすごいと感じているところは、コードが非常に短く書けるところです。学習のコアの部分は、正則化を入れても15行とか20行ぐらいで十分に書けます。それでいて学習は十分に高速であり、実用的に使えるのです。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
