オンライン学習周りを調べている - laughingのブログADAGRAD *1 学習率をいい感じに調節してくれるスゴイやつ 過去の gradient の2乗和で，今の gradient を割る ADADELTA *2 adagrad をちょっと変更していて，ある程度直近の gradient の2乗和を見て，学習率を求めるやつ adagrad は学習率 を設定する必要があるけど，こっちは要らない そのかわりにどの程度，過去を重視するかのパラメータ がある ここに adagrad と adadelta の比較がある ConvNetJS Trainer Comparison on MNIST L1 とかどういう更新式になるんじゃろ? FOBOS オンライン学習の解き方の1つで，正則化項を考えない を求めてから その に対して，正則化項を考慮したときの projection をする RDA *3 損失関数と正則化項がある時のオンライン学習の解き方の1つっ
30minutes Adagrad Rda | PDF
