AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました - EchizenBlog-Zwei
AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました。 実装がとても簡単で、ハイパーパラメータも論文に推奨値が書いてあるのが良いですね。 持っておかないといけないパラメータの数は(たぶん)AdaGradと同じです。 https://github.com/echizentm/Adam AdaGradやAdamのようなオンライン学習器は実装が簡単、省メモリなど優れた特徴があり大変実用的ですし、そろそろ有益な書物も発売されるようなので、気になった方はこれを機に学んでみると良いですよ。 しかしこうなるとAdamを改良したEveという学習器を作ってみたいですね(作るとは言っていない)。
オンライン学習器AdamをC++で実装してみた - log.saiias
元論文はこちらです. 自分の実装はここに置いてあります. 1データに対する学習率の調整部分は部分は以下の通りです. (論文内の擬似コードをそのまま実装している感じです. double pred = sigma(X,i); for(int idx = 0; idx < d; idx++){ if(X(i,idx) != 0){ double tbeta = 1-(1-beta1) * pow(lambda,iter); double grad = (pred - label(i)) * X(i,idx)+ C * w(idx); m[idx] = tbeta * grad + (1-tbeta) * m[idx]; v[idx] = beta2*pow(grad,2) + (1-beta2) * v[idx]; double hat_m = m[idx]/(1-pow((1-beta1),i
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
