学習率の決め方 -LR range testとCyclical Learning Rate-

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事について 本記事では、Deep Learningを用いた学習の要となる学習率の決め方、また学習率更新関数の決め方ご説明します。 これから説明する方法は、米国で数多の機械学習エンジニアを輩出している学習講座 fast.ai に取り入れられている手法で、その手法はDeep Learningフレームワークに導入、または導入検討されているものです。 この学習率決定法・更新関数は導入が簡単な割に、精度が数％上昇したり既存の精度までに到達する学習時間(Epoch数)が半分以下なるため、取り入れないのはもったいないと思いから記事にしました。 こ

[showyou]

>Pytorchならtorch.optim.lr_scheduler.StepLR(step_size=1) Tensorflowならtf.train.exponential_decay(decay_step=1) です。

[stealthinu]

ニューラルネットワークの学習率の決め方。初期学習率は極小の学習率からx10毎のロス数を出してグラフ作る。学習中に上限加減をバッチ中にノコギリ波的に変更するとよいと。