エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
FOBOSを試す - Negative/Positive Thinking
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
FOBOSを試す - Negative/Positive Thinking
はじめに FOBOSという最近のオンライン学習の方法を知ったので試してみた。 FOBOSとは 2009年に提案され... はじめに FOBOSという最近のオンライン学習の方法を知ったので試してみた。 FOBOSとは 2009年に提案された微分不可能な目的関数でもうまく正則化をしつつオンライン学習できる手法 http://jmlr.csail.mit.edu/papers/v10/duchi09a.html 劣勾配法という手法では、微分不可能な点を持つ目的関数でも学習可能だった しかし正則化(特にL1正則化)を組み合わせてもうまく機能してくれなかった 「勾配による重みの更新」と「正則化のための重みの更新」を分けることで正則化を機能させることができて、収束の証明もできた 詳しい解説記事 http://d.hatena.ne.jp/kisa12012/20101130/1291112553 http://research.preferred.jp/2010/12/subgradient-optimization-4