最近ちらほらベイズ最適化について聞くのでまとめてみました。 特に専門でもないので間違ったことが書いてあったりするかもしれませんがもし発見したら指摘して頂けると助かります。 ベイズ最適化のモチベーション 世の中、実際に実験することが面倒くさいものはかなり多いです。なので計画的に実験をデザインしたくなります。 そこで実験するたびに今までの実験結果に基づいて"ベイズ的に"次の実験をデザインするのがベイズ最適化です。 実際使われている分野としては例えば 広告(どのようにA/B testするかとか) 生物学(良さそうなDNAを決定してそれに基づいて実験したいときとか?) 物理or化学(マテリアルデザイン) 機械学習(Deep Learningなど)におけるハイパーパラメータサーチ 強化学習 みたいなものがあるそうです。 最も基本的な例である機械学習のハイパーパラメーターサーチにおいてはマニュアルであ