ディープラーニングにおける学習のコツとハイパーパラメータのガイドライン

はじめに 今流行りのディープラーニング(深層学習)ですが、いざ自分でやってみると思ったように精度が出なかったり、重みの初期化や学習率をどのように選択したらよいのか、といったことで戸惑うことがよくあります。 重みの初期化や学習率といった、ニューラルネットではなく人間が選択しなければいけないパラメータをハイパーパラメータ(Hyperparameter)と呼びます。逆に言えば、ハイパーパラメータとは学習アルゴリズムによって決定できず、ヒューリスティックな部分でもあります。 ハイパーパラメータは試行錯誤で決定していくのが基本ですが(もちろん自動化技術もあります)、50年以上の歴史があるニューラルネットには知恵やテクニックが多くの先人によって培われてきました。そして、今もなお研究が盛んに行われている分野でもあります。 あとで参照しやすいように本記事では、ハイパーパラメータの指南をまとめてみました。