deeplearning4jのUpdater (AdaGrad, RMSProp, AdaDelta, Adam) のパラメータまとめ - Apitore blog

はじめに deeplearning4jではAdamなどの主要なUpdaterは大体使えますが、Updater毎に設定できるパラメータが違うので、メモも兼ねてまとめておきます。 参考情報 deeplearning4j公式 deeplearning4j公式githubその１ deeplearning4j公式githubその２ AdaGrad, RMSProp, AdaDelta, Adam, SMORMS3 Updater 数式はプラグインを入れるのがめんどくさかったので上記のdeeplearning4j公式で使っている画像を拝借しました（駄目だったら教えてください）。以降では、「数式」「dl4jで使えるパラメータと推奨値」「サンプルコード」と言うかたちで説明します。 Adagrad 数式 dl4j 推奨 α learningRate 1e-1 or 1e-2 ε epsilon 1e-6 o