http://proceedings.mlr.press/v70/bello17a/bello17a.pdf ICLR17のoral枠のNeural Architecture Search with Reinforcement Learningの手法を応用してOptimizer自体を最適化することを目指した研究 Optimizerの更新規則の表現方法 この論文では、Optimizerの更新規則自体を最適化することを目指す。 その上で、Optimizerの更新規則を以下の式を(場合によっては再帰的に)用いて表現することとする: ここで、u_1とu_2は入力変数が1つの関数を、bは入力変数が2つの関数を、op_1とop_2は入力として何を使うかを表現している。 例えばSGDを表現したい場合、u_1とu_2にはidentity mapping(つまり入力をそのまま出力させるだけの関数)を、bには