ADAGRAD *1 学習率をいい感じに調節してくれるスゴイやつ 過去の gradient の2乗和で,今の gradient を割る ADADELTA *2 adagrad をちょっと変更していて,ある程度直近の gradient の2乗和を見て,学習率を求めるやつ adagrad は学習率 を設定する必要があるけど,こっちは要らない そのかわりにどの程度,過去を重視するかのパラメータ がある ここに adagrad と adadelta の比較がある ConvNetJS Trainer Comparison on MNIST L1 とかどういう更新式になるんじゃろ? FOBOS オンライン学習の解き方の1つで,正則化項を考えない を求めてから その に対して,正則化項を考慮したときの projection をする RDA *3 損失関数と正則化項がある時のオンライン学習の解き方の1つっ
What is Scribd?AcademicProfessionalCultureHobbies & CraftsPersonal GrowthAll Documents
Proceedings of the 47th Annual Meeting of the ACL and the 4th IJCNLP of the AFNLP, pages 477–485, Suntec, Singapore, 2-7 August 2009. c 2009 ACL and AFNLP Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty Yoshimasa Tsuruoka†‡ Jun’ichi Tsujii†‡∗ Sophia Ananiadou†‡ † School of Computer Science, University of Manchester, UK ‡ National Centre for Text Mi
劣勾配法の問題点 収束が遅い L1正則化に適用してみても,0になる重みの数があまり多くならない 概要 勾配法に似たオンライン学習アルゴリズム 各データについてのパラメーター更新を,勾配法では一気にしていたが,FOBOSでは2ステップに分けている 損失項の劣勾配法による処理 正則化項の閉じた形での最適解の計算 更新式について 更新前のパラメータを$w_t$とおく 損失項の劣勾配法による処理を終えたときに得たパラメータを$v$をおく 第2ステップの更新式は $w_{t+1} = \arg \min_{\bold{w}} \frac{1}{2} || \bold{w} – \bold{v} || ^2 + \hat{\lambda} R(\bold{w}) $ $\hat{\lambda}$は学習率 $R()$は正則化関数 RがL1正則化関数なら,$\bold{w}_{t+1}$の$i$番目の値
AdaGrad(Adaptive Gradient)というオンライン学習のアルゴリズムを実装しました。 https://github.com/echizentm/AdaGrad 論文: Adaptive Subgradient Methods for Online Learning and Stochastic Optimization(http://www.magicbroom.info/Papers/DuchiHaSi10.pdf) AdaGradはAROWのように重みの更新を適応的に行うことが出来るほか、正則化のアルゴリズムと組み合わせることが出来るという利点があります。 このためFOBOSやRDAなどを用いたL1正則化によって特徴量を疎にすることが出来ます。今回はRDAと組み合わせたAdaGradをperlで実装しました。 RDAを用いた理由は上記論文でFOBOSよりも高性能だった
第12回 情報論的学習理論と機械学習研究会† このページはしましまが 第12回電子情報通信学会 情報論的学習理論と機械学習研究会 に参加してとったメモです.私の主観や勘違いが含まれていたり,私が全く分かってなかったりしていますので,その点を注意してご覧ください.誤りがあれば,指摘してください. ↑ バイアス付きPassive-Aggressiveアルゴリズム† ○立石大悟・畑埜晃平・瀧本英二(九大) オンラインの線形2値分類:予測誤り回数の最小化 Perceptron, PA, Cw, AROW, NHERD などは,基本的には原点を通る超平面で分離 次元拡張法:バイアスを扱うにはパラメータに定数の特徴を追加 → 定数に1を入れることが多いが,入れる定数によって性能が変わる → 困る 次元拡張法を使わないで,Passive Agressive にバイアス項を扱えるようにする Passive
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く