[TensorFlow] OptimizerにもWeightがあるなんて - Qiita

はじめに TensorFlow (Keras) のLayerオブジェクトは重み（Weight）を持っています。全結合層 ${\bf y} = {\bf W} {\bf x} + {\bf b}$ の行列 ${\bf W}$ とバイアスのベクトル ${\bf b}$ が代表的ですね。 実はOptimizerにもWeightがあります。学習を中断して続きから再開するとか、Fine-Tuningを行うときなど、「すでに途中まで学習が進んでいる」状態では、このWeightの存在を意識しないと痛い目に遭うという話です。何を今更と言われるかもしれませんが。 検証環境 Ubuntu 18.04 Python 3.6.9 TensorFlow 2.1.0 (CPU) 現象 まずはハマった内容をご紹介しましょう。 3エポック学習させた後、Optimizerを最初と同じ設定で再作成し、モデルを再コンパイルした