最適な学習アルゴリズム・重み・ハイパーパラメータの決め方

最適化アルゴリズムの一覧と比較最適化アルゴリズム最適化アルゴリズムとは、「損失関数を０に近づけるように、重みを決定する」アルゴリズムです。ニューラルネットワークの学習で利用する最適化アルゴリズムには、以下の種類があります。 SGDMomentumAdaGradAdamRMSpropSGDSGD とは、重みをマイナスの勾配方向に進めることで、損失関数を０に近づけるアルゴリズムです。 SGD を表す数式は以下のとおりです。(W は重み、← は代入、ηは学習率、∂L/∂W は勾配) $$ W ← W - \eta \frac{∂L}{∂W} $$ SGD アルゴリズムについては、以下の記事でより詳しく説明しているのでご覧ください。