こんにちは、岡崎です。 この記事は TECHSCORE Advent Calendar 2016 の 20 日目の記事です。 先日、IBISML2016(第19回情報論的学習理論ワークショップ) のチュートリアルに参加しました。 その中で「ベイズ最適化による機械学習のハイパーパラメータチューニング」という内容が面白かったので紹介します*1。 ハイパーパラメータ・チューニング 機械学習モデルの学習においては、良いモデルを作るためにハイパーパラメータ(外部から与えるモデルのパラメータ)のチューニングが必須です。 目的の精度や汎化性能をもとめて、モデルの学習を繰り返し最適なハイパーパラメータを探索するのですが、選択するアルゴリズムやデータ量、計算環境によっては一回の試行が数時間に及ぶこともあり、効率よく探索することが大事になります*2。 従来よりハイパーパラメータのチューニングでは「グリッドサー