ベイズ最適化とHyperbandを組み合わせた手法「BOHB」の解説 | Masahiro Nomuraはじめに 本稿では，Hyperband[Li 18]とベイズ最適化を組み合わせた手法であるBOHB[Falkner 18]について解説する． 今回実験は行わないが，実験をする場合は，著者らが公開しているOSSであるHpBandSterを利用して実験を行うのが良さそうなので，適宜そちらを参照されたい． ベイズ最適化 ベイズ最適化の概要についてはこちらの記事で解説を行っているため，本稿では省略する． ベイズ最適化に用いられるsurrogate functionとしてはGaussian Processが有名だが，サンプル数$n$に対して時間計算量が$\mathcal{O}(n^3)$となるため，サンプル数を大きくすると実用的に使いづらくなるという問題点が存在する． そこでBOHBでは，サンプル数$n$に対して$\mathcal{O}(n)$で計算できるTree-structured Parzen
