タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
はじめに コークハイとか酎ハイをお店で飲むと、割り方とかレモンが効いていたりとかでお店によって結構違いが出ますよね 自分好みの最高のコークハイの作り方を知ることは全人類の夢だと思います。 本記事は一足先にそんな夢に挑戦したという記事です。 手法としてはベイズ最適化を使用します。 実データで実験計画と絡めながらベイズ最適化を実際に行う記事はあまり見かけなかったので今回は、 最適化パラメータ 1. コーラとウイスキーの比 2. レモン汁の量 目的変数 コークハイの美味しさ という2次元入力、1次元出力で実際に実験とチューニングを並行しながら行ってみたいと思います。 目次 はじめに ベイズ最適化とは 実験系の説明 実験条件 実験で考慮しないこと(パラメータ) 実験材料 実験方法 スコアの付け方 実験をやりました（本題） 実装コード 実験開始 ARDありver. 反省点 さいごに ベイズ最適化とは
参加したコンペについて 参加したのはこちらのSwagコンペです。 GDPや両親の学位など対象とする学生の周辺データからその学生の卒業、退学、その他の3つに分類するという課題です。 Swagは賞金がありませんが、Kaggleがホストするコンペで、この時は世界から2800人程度が参加しました。開催期間は1か月です。 私の順位は 107位 / 2684位 でした。 過学習を防ぐような工夫もしたので最後にグッと順位が上がりました。 SKF + LightGBM + BayesSearchCV 今回使ったモデルの構築方法はとてもコンパクトでお気に入りです。 コードは次の通りです。前処理が終わりモデルをつくる段階を想定してください。 from sklearn.model_selection import RepeatedStratifiedKFold from sklearn.metrics impo
はじめに Streamlitって気づいたら神アプデしてますよね。もっと大々的に宣伝してほしいものです（←自分で情報取りに行け）。 さて、化学メーカーに勤めている"自称"データサイエンティストとしてはやはりベイズ最適化したい衝動に駆られます。Notebook上では実装できていたのですが、もっと簡単に使いたいし、周囲に広めるためにもアプリの方が便利だなぁと思いました。 世の中にはそんなアプリがあるけど、ダウンロードが必要だったり（社内申請めんどくさい）、お金がかかったり・・・そうだ！自作しよう！ ということで、Streamlitでベイズ最適化による実験点提案アプリを自作しました。 ひとまず必要最低限の機能だけ実装したので、今後アップデートしていきます。 メインライブラリ streamlit==1.30.0 scikit-learn==1.4.0 ガウス過程回帰、ベイズ最適化 ・scikit-l
ベイズ最適化を中心とした能動学習のためのモデリングやアルゴリズムの解説，適用例の紹介Read less
はじめに 機械学習の世界ではベイズ最適化を活用した効率的なハイパーパラメータチューニングが当たり前のように使われております。例えば、2015年には東京大学の佐藤先生がベイズ最適化を上手くを活用した実践的な研究成果をご発表されております この発表で解説されている通り、ハイパーパラメータの選定作業すら機械に任せてしまうことができるため、これ以降もベイズ最適化が昨今の機械学習ブームのさらなる飛躍に貢献していきました。ベイズ最適化が機械学習のハイパーパラメータ選定に使われる理由は大まかに下記の点であるといわれています。 1.ブラックボックス関数(コスト関数)の最大化・最小化を実現できる。 2.グリッドサーチよりもパラメータ調整のための試行回数を大幅に削減できる。 3.確率モデルに基づく方法のため、推定結果の不確かさもモデリングできる。 特に、1番と2番の利点は複雑なコスト関数・対象に対して，なるべ
ベイズ最適化を用いた高次元ブラックボックス最適化手法の検証 - Preferred Networks Research & Development
本記事は、2019年インターンシップとして勤務した森 雄人さんによる寄稿です。 概要 2019年PFN夏季インターンに参加していた森 雄人です. 本インターンでは高次元空間中のベイズ最適化問題について, 実装・研究していました. 特にREMBO [1] [2] やLINEBO [3] を用いた最適化を行うことで, どのようにアルゴリズムの振る舞いが異なるかを数値的に検証していました. 本稿ではブラックボックス最適化問題, 特に最小化問題について考えます. 変数を\(\lambda\), 目的関数を\(L(\lambda)\)と書き, 探索空間を\(\Lambda \subset \mathbb{R}^{D}\)と書くことにします. ここで「ブラックボックス」とは, 最小化したい目的関数\(L(\lambda)\)にまつわる情報が手に入らないという想定を指します. すなわち, 自分である入
Metaがベイズ最適化の予想外の改善を実現
3つの要点 ✔️ 評価のコストが高いシステムの効率的な最適化技術としてベイズ最適化がある ✔️ 改善量の期待値（EI）を計算することで解の改善に必要な試行錯誤を削減可能 ✔️ パラメータが高次元の場合のEIの不具合を解決することで予想外の改善を達成 Unexpected Improvements to Expected Improvement for Bayesian Optimization written by Sebastian Ament, Samuel Daulton, David Eriksson, Maximilian Balandat, Eytan Bakshy (Submitted on 31 Oct 2023 (v1), last revised 18 Jan 2024 (this version, v2)) Comments: NeurIPS 2023 Spotlig
Intro Optunaの記事2本に続いて、ガウス過程によるベイズ最適化ツールBoTorchを扱います。 BoTorchはFacebookが開発を主導するベイズ最適化用Pythonライブラリです。ガウス過程部分にはPyTorchを利用した実装であるGPyTorchを利用していますが、獲得関数や候補点提案などに関する最新の手法をサポートしており、最小限の労力で最新のベイズ最適化を実行できます。特に獲得関数の工夫により、複数点の同時提案や多目的最適化などに対応できる点が特徴です。 通常は同じFacebook主導のパッケージであるAxから利用することが想定されていますが、ガウス過程や周辺手法を隠蔽せず細かく調整する場合はBoTorchを直接使用することになります。（Optunaからも一部機能が利用できるようになっています。） 本記事では、BoTorchに実装されている最新手法を学ぶ準備として、B
東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois
ベイズ最適化は、予測値と実測値を合わせようとはしていない
2021 年 6 月 3 日に、金子弘昌著の「Pythonで学ぶ実験計画法入門 ベイズ最適化によるデータ解析」が出版されました。 講談社: Amazon: Amazon(Kindle): === 出版して約２年経過した 2023 年 4 月... 具体的には、ガウス過程回帰モデルの構築、獲得関数の値が大きい実験条件のサンプルの選択、そのサンプルを用いた実験を繰り返します。 ベイズ最適化の途中で、縦軸をガウス過程回帰モデルによる y の予測値、横軸を y の実測値とするプロットをして、予測値と実測値と合ったかどうか検証をする人がいますが、ベイズ最適化においては意味がありませんのでご注意ください。ベイズ最適化によって提案された実験条件のサンプルの予測値と実測値の間の誤差は、ベイズ最適化の検証方法としては適切ではありません。なぜなら、ベイズ最適化では y の予測値が実測値と合うようなサンプルを提
[無料公開] 「Pythonで学ぶ実験計画法入門 ベイズ最適化によるデータ解析」 の “まえがき”、目次の詳細、第１・２章
モデル Y=f(X) を用いることで、まだ実験していない実験条件の候補の値をモデルに入力し、実験の結果としての材料サンプルがもつと考えられる物性の値を推定できます。推定値が材料物性の目標値になる、もしくは近いような実験条件の候補を選択することで、次に行う実験を決められます。 実験の結果が得られたら、それが目標を達成していれば終了です。目標を達成していなかったら、実験条件の候補と実験結果をあわせたものをデータベースに追加して、再度モデルを構築します。新たに構築されたモデルを用いることで、次は別の実験条件の候補が選択されます。このように、モデル構築と次の実験の提案を繰り返すことを適応的実験計画法と呼び、詳細は2.3節で解説します。 1.4 なぜベイズ最適化が必要か これまで、Y の推定値が目標値に近いような X の候補を次の実験条件の候補として選択する、といった説明をしていました。分子設計でも
![[無料公開] 「Pythonで学ぶ実験計画法入門 ベイズ最適化によるデータ解析」 の “まえがき”、目次の詳細、第１・２章](https://cdn-ak-scissors.b.st-hatena.com/image/square/d472828353c48053a65cbfbfc8d5a39826195973/height=288;version=1;width=512/https%3A%2F%2Fdatachemeng.com%2Fwp-content%2Fuploads%2F210606python.jpg)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベイズ最適化で最高のコークハイを作る - わたぼこり美味しそう
Kaggleコンペでトップ4%になった簡単ベイズ最適化 - Qiita
ベイズ最適化（実験点提案）アプリをStreamlitで構築するぜ！ - Qiita
機械学習による統計的実験計画（ベイズ最適化を中心に）
Pythonによるベイズ最適化を使った効率的な制御系設計 - Qiita
Amazon.co.jp: ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで: 飯塚修平: 本
ベイズ最適化ツールBoTorch入門 - Qiita
機械学習による統計的実験計画（ベイズ最適化を中心に）
Amazon.co.jp: Pythonで学ぶ実験計画法入門 ベイズ最適化によるデータ解析 (KS情報科学専門書): 金子弘昌: 本
diamond.jp
diamond.jp
diamond.jp
diamond.jp
miyuremama.hatenablog.jp
news.infoseek.co.jp