[B! bayesian-optimization] zak3のブックマーク

zak3 id:zak3

bayesian-optimizationに関するzak3のブックマーク (5)

【Optuna】ベイズ最適化の原理を完全に理解する【TPE】 - Qiita
Optunaって便利だよねハイパーパラメータのチューニングの手法はいろいろとあるが、最近ではOptunaがよく使われる。 Optunaはベイズ最適化によって効率よくパラメータを探索してくれるため、グリッドサーチなどの他の手法に比べて高速だ。と、ここまではよく聞く説明だけど「ベイズ最適化って具体的に何をしてるの？」と聞かれると詰まってしまう人は多いと思う（私です）。この記事の目的はOptunaなどで使われるベイズ最適化の原理をちゃんと理解してすっきりすることだ。ハイパーパラメータの探索少し基本的なところからおさらいしよう。機械学習の精度を上げるには適切な素性を加えて適切な学習をすることが大事だ。そしてそれと並んでハイパーパラメータのチューニングも大事だ。ハイパーパラメータの種類はモデルによって異なるが、学習する前に外部からあらかじめ設定する必要がある。具体的には学習回数
zak3 2022/09/05
bayesian-optimization
リンク
機械学習による統計的実験計画（ベイズ最適化を中心に）
ベイズ最適化を中心とした能動学習のためのモデリングやアルゴリズムの解説，適用例の紹介Read less
zak3 2022/08/01
bayesian-optimization
リンク
[BoTorch]Monte Carlo獲得関数とその最適化 - Qiita
Outline Monte Carlo 獲得関数勾配法による最大化貪欲法による逐次最適化（Sequentialモード） Intro 前回に引き続き、BoTorchの解説記事です。 BoTorchの最大の特徴は、獲得関数の最大化を勾配法で統一している点にあります。それを実現できたのは、BoTorchがMonte Carlo獲得関数という概念を取り入れたことによります。ベイズ最適化（Bayesian Optimization; BO）では通常、候補点の中から獲得関数を最大にする点を選び、次の評価対象とします。 $$x^{*} = \arg\max _{\mathbf{x}}{\mathcal{L}(\mathbf{x})}$$ しかしこの最大化は必ずしも容易ではなく、複雑な獲得関数（Entropy SearchやKnowledge Gradientなど）を扱う場合や、複数の候補点を選ぶ（
zak3 2022/08/01
bayesian-optimization
リンク
最適化アルゴリズムを評価するベンチマーク関数まとめ - Qiita
更新履歴最適解と探索範囲を追記しました。 2016/11/29 @fimbulさん編集リクエストありがとうございました。修正しました。 2017/7/10 @tomochiiiさん編集リクエストありがとうございました。Easom functionを引用元の数式に修正、Schaffer function N. 2とN. 4の数式の修正 2018/5/9 @applicative62045 さん編集リクエストありがとうございました(編集リクエストの確認遅くなりました。2019/12/31記載) Griek functionを修正 2019/12/31 @okamoto6496 さん指摘ありがとうございました。Five-well potential functionの数式を修正。 2020/01/20 @higedura さん指摘ありがとうございます。Bukin function N
zak3 2022/01/16
Benchmark functions

bayesian-optimization
リンク
http://arxiv.org/pdf/2001.07394
- 1 user
- arxiv.org
- 学び
zak3 2020/01/26
Bayesian Optimization for Policy Search in High-Dimensional Systems via Automatic Domain Selection

paper

bayesian-optimization

あとで読む
リンク
1