学習率の決め方 -LR range testとCyclical Learning Rate-

本記事について 本記事では、Deep Learningを用いた学習の要となる学習率の決め方、また学習率更新関数の決め方ご説明します。 これから説明する方法は、米国で数多の機械学習エンジニアを輩出している学習講座 fast.ai に取り入れられている手法で、その手法はDeep Learningフレームワークに導入、または導入検討されているものです。 この学習率決定法・更新関数は導入が簡単な割に、精度が数％上昇したり既存の精度までに到達する学習時間(Epoch数)が半分以下なるため、取り入れないのはもったいないと思いから記事にしました。 この記事は fast.ai 及び 論文『Cyclical Learning Rates for Training Neural Networks』を参考しにしています。 初期学習率の決め方: LR range test LR range testとは 初期学習

[showyou]

>Pytorchならtorch.optim.lr_scheduler.StepLR(step_size=1) Tensorflowならtf.train.exponential_decay(decay_step=1) です。

[stealthinu]

ニューラルネットワークの学習率の決め方。初期学習率は極小の学習率からx10毎のロス数を出してグラフ作る。学習中に上限加減をバッチ中にノコギリ波的に変更するとよいと。