TensorFlowのhe_normalとtruncated_normalは標準偏差が違う - Qiita

CNNの重み初期化にHeの初期値を使おうと思ったら、TensorFlow(Keras)のtf.initializers.he_normalを使う場合とtf.initializers.truncated_normal で学習結果が異なったので調べた話。 環境 Python 3.7.3 TensorFlow 1.14.0 numpy 1.16.2 matplotlib 3.0.3 Heの初期値 Heの初期値とは、活性化関数にReLUを使用するニューラルネットワークにおいて学習がうまく進むような重みの初期値の決め方で、Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classificationという論文の中で示されています。 この論文以前にXavierの初期値と呼ばれる重み初期化が提唱されて

[reboot_in]

“切断正規分布を使うメリットは、活性化関数にsigmoidやtanhを使う場合に、重みの初期値の絶対値が大きいと活性化関数の入力が大きくなって勾配が小さくなり、学習が遅くなってしまうことを防ぐため”