AdaGradとAdaDeltaの収束速度比較 - log.saiiasAdaGradとAdaDeltaを実装&収束速度評価を行ってみました. https://github.com/saiias/Adadelta 詳しいアルゴリズムは論文を参照してください. AdaGradもAdaDeltaのどちらも学習率を自動で調節することによって学習の高速化をすることができる手法です. どちらも実装が簡単で適用範囲が広いです. AdaGradとAdaDeltaについてざっくり述べると Adagradは過去すべての勾配の2乗和の平方根の逆数を利用 AdaDeltaはAdadeltaの改良版で,学習率の初期値が不要で、直近の勾配を重く評価する などの特徴を持っています. 今回は実装の簡単さからロジスティック回帰+L2正則化の実装と評価を行いました. 実装についてはgithubにのせているのでここでは重みの更新式について記載します. ロジスティック回帰+L2正則化 w(idx)
