タグ

SGDとFOBOSに関するohnabeのブックマーク (2)

  • 機械学習におけるオンライン確率的最適化の理論

    生成モデルとかをあまり知らない人にもなるべく分かりやすい説明を心がけたVariational AutoEncoderのスライド 実装と簡単な補足は以下を参照 http://sh-tatsuno.com/blog/index.php/2016/07/30/variationalautoencoder/

    機械学習におけるオンライン確率的最適化の理論
  • L1-SGD

    Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty Yoshimasa Tsuruoka, Jun’ichi Tsujii and Sophia Ananiadou, ACL2009. 論文紹介.鶴岡さんのL1正則化付き確率的勾配降下法(Stochastic Gradient Descent,SGD).L1正則化はコンパクトなモデルパラメタになってくれるので,実用上はとてもうれしい.しかし,0の点で微分できないので面倒だった.提案手法は実装が超簡単(擬似コードで20行くらい),超高速で,収束も早いし,性能もいい,いいこと尽くめ.初めての人にもお勧めできる簡単さで,しかもそのまま実用品になります. L1正則化は目的関数に重みベクトルのL1 norm

  • 1