AdaBoundを試してみたAdamの収束の速さとSGDの汎化性能の良さの良いとこ取りなoptimizerである、AdaBoundとAMSBoundをラーメン二郎データセットの転移学習に対して試してみました。 AdaBound と AMSBound 自体の詳細については [最新論文] 新しい最適化手法誕生! AdaBound & AMSBound が参考になりますので、こちらの記事または、提案論文(arXiv) をご覧ください。 (2019年６月13日追記) Adam, AMSGrad で weight decay=0 の設定、および、AdaBound, AMSBound で final_lr=0.5 の設定で追加検証した結果を記事末尾に追記しました。試した中では、AdaBound(final_lr=0.5)が最も良い結果となりました。 ざっくり概要 ラーメン二郎データセットで AdaBound と AMSBound
