TensorFlowのOptimizerを比較する（ベジェ曲線編） - Qiita

もちろん、ここで行った検証は「ベジェ曲線の最適化」という特定の問題に限ったことであり、それぞれの方法において調整が可能な特徴量についてはデフォルトのままである。さらに、この問題を機械学習にあてはめてみると、極めて少数の教師データ（19個）を使っていることになる。従って、ここで得た知見がニューラルネットワークの計算に、そのまま適用できるという保証はない。この検証で成績が悪かった方法も、大量の教師データに対してなら、うまく適用できる可能性がある。しかし、少なくとも、AdamOptimizerとFtrlOptimizerは、このような過酷な状況においても最適化を完了できた優れた方法であると言える。ブラックボックスになりがちなOptimizerに対して、限定的ではあるが、確かな情報を得ることができた。以下、検証の詳細を述べる。 検証１ （その２）の図9のように得られた、データ点に対応する媒介変数の