KerasのLearningRateSchedulerとPyTorchのLambdaLRの微妙な違い学習率の調整は大事です。エポック後に学習率を減衰させる際、現在のエポックを引数として更新後の学習率を返す関数を与えると便利なことが多いです。この操作はKeras,PyTorchどちらでもできますが、扱い方が微妙に違うところがあります。ここを知らないでKerasの感覚のままPyTorchでやったらハマりまくったのでメモとして書いておきます。 Kerasの場合は「更新後の学習率」を返す Kerasの場合はわかりやすいです。エポックを引数として、更新後の学習率をそのまま返す関数を用意すればよいです。以下のコードの場合は「lr_scheduler」という関数ですね。 import keras from keras import layers import keras.backend as K def mnist_mlp(): input = layers.Input((784,)) x = lay
