Successive Halvingの性能解析 | | AI tech studio

AI Labの阿部です． つい最近Preferred Networks社から機械学習のハイパーパラメータ最適化フレームワークOptunaが公開されたこともあってハイパーパラメータ最適化が注目を集めていますね！ 機械学習のハイパーパラメータ最適化の代表的な手法といえば，TPE[Bergstra et al., 2011]，SMAC[Hutter et al. 2011]，Hyperband[Li et al., 2018]などが挙げられます． 今回は，HyperbandのアルゴリズムのベースとなっているSuccessive Halving[Jamieson et al., 2015]という手法について解説してみたいと思います． Successive Halvingはハイパーパラメータ最適化を多腕バンディット問題の最適腕識別として考え，より良いハイパーパラメータほど多くの学習時間を割り当てる手