OptunaHubに導入された「CatCMA」の紹介 - Preferred Networks Research & Development
はじめに みなさんこんにちは。Optunaコミッタの今村です。 Optunaはブラックボックス最適化フレームワークとしてOSSで開発が続けられているソフトウェアです。我々はOptunaエコシステムの新たな挑戦として、Optuna向け機能共有プラットフォームOptunaHubのベータ版を先日リリースしました。OptunaHubは公開から間もないにも関わらず、おかげさまで多くのコントリビュータから機能の登録をいただいています。今回はその中からCatCmaSamplerという機能をピックアップして、その素晴らしさをご紹介したいと思います。 TL;DR OptunaHubにて最先端の進化計算アルゴリズム CatCMAが公開されました。 CatCMAは連続・離散の混合探索空間で威力を発揮するアルゴリズムです。 ニューラルネットワークのハイパーパラメータ最適化において、CMA-ESを凌駕する性能を達成
モデルの直接的逆解析法で効率的な適応的実験計画法ができるようになりました！[金子研論文]
金子研の論文が Chemometrics and Intelligent Laboratory Systems に掲載されましたので、ご紹介します。タイトルは Adaptive design of experiments based on Gaussian mixture regression です。 Gaussian Mixture Regression (GMR) や Generative Topographic Mapping Regression (GTMR) では、説明変数 X から目的変数 Y (Y が複数でもOK！) を直接的に推定する、といった回帰モデルの直接的逆解析ができます。 [Pythonコードあり] 教師あり混合ガウスモデル(Supervised Gaussian Mixture Models)で回帰分析も逆解析も自由自在に♪～Gaussian Mixture Re
![モデルの直接的逆解析法で効率的な適応的実験計画法ができるようになりました！[金子研論文]](https://cdn-ak-scissors.b.st-hatena.com/image/square/addabf675e37b909420c8e3af3d6a1e3306c6114/height=288;version=1;width=512/https%3A%2F%2Fdatachemeng.com%2Fwp-content%2Fuploads%2FSnapCrab_NoName_2021-1-3_6-49-21_No-00.png)
Python, Optunaで多目的最適化を試してみた
概観単目的の時と同様に、以下のような流れで最適化が可能なようです。 パラメータ範囲の設定とスコアの計算を行う関数objectivesを用意multi_objective.create_studyで最適化の設定optimizeで最適化を実行 def objectives(trial): # optunaでのパラメータサーチ範囲の設定 # スコアの計算 return # スコアを返す # optunaによる最適化呼び出し study = optuna.multi_objective.create_study() # 最適化の実行 study.optimize(objectives) コード例0から30の値をとる変数aとbからなる関数y1、y2において、y1を最小化し、y2は最大化する多目的最適化を試します。 y1とy2はトレードオフの関係のため、a=0で、bが適当な値がパレート解で望ましい値と
Direct inverse analysis based on Gaussian mixture regression for multiple objective variables in material design
•The aim is design of highly functional materials with multiple objective variables Y. •Gaussian mixture regression (GMR), which can simultaneously handle multiple Y variables, is focused on. •GMR can also predict the values of explanatory variables directly from Y values, which means direct inverse analysis. •The proposed method is evaluated using numerical simulation data and thermoelectric conv
評価関数のバッチ処理に対応したブラックボックス最適化ライブラリの開発 - Preferred Networks Research & Development
本記事は、2020年インターンシップで勤務した高橋芽生さんによる寄稿です。 はじめに 2020年度PFN夏季インターン生の高橋芽生です。 今回のインターンではメタヒューリスティクスライブラリの開発を行いました。 コードはこちらで公開しています。 メタヒューリスティクス メタヒューリスティクスという用語には様々な意味がありますが、本稿では個々の問題に依存しない連続的な最適化のための一般的なフレームワークを指すものとします。これは関数の形が陽に与えられていない場合の最適化手法であるブラックボックス最適化の一つです。ブラックボックス最適化には、機械学習のハイパーパラメータチューニングや、音声認識システム [1]、結晶構造の解析 [2]、ソーシャルゲームの難易度・バランス調整 [3]などの応用先が知られています。多くのメタヒューリスティクスの手法では、同じバッチのスコアは互いに影響しないため、複数
AI Platform Vizier の概要 | Google Cloud
フィードバックを送信 AI Platform Vizier の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 AI Platform Vizier は、複雑な機械学習（ML）モデルでのハイパーパラメータの調整を支援するブラックボックス最適化サービスです。ML モデルに異なるハイパーパラメータが多数ある場合、手動での調整は難しく時間がかかります。AI Platform Vizier を使用すると、ハイパーパラメータが調整されてモデルの出力が最適化されます。 ブラックボックス最適化とは、次のいずれかの条件を満たすシステムの最適化です。 評価する既知の目的関数がない。 目的関数を使用して評価するにはコストがかかりすぎる（システムが複雑なことが多いため）。 システムを完全に理解するよりもテストを実施するほうが簡単な場合、そのシステムはブラックボックスとして機
Hyperoptを使って関数最適化をしてみる - Qiita
# -*- coding: utf-8 -*- import hyperopt from hyperopt import hp from hyperopt import fmin from hyperopt import tpe from hyperopt import Trials import matplotlib.pyplot as plt # hyperopt用の目的関数を設定 def objective_hyperopt(args): x, y, z = args return x ** 2 + y ** 2 + z ** 2 # hyperoptで最適化実行 def hyperopt_exe(): # 探索空間の設定 space = [ hp.uniform('x', -100, 100), hp.uniform('y', -100, 100), hp.uniform('z',
Optunaでおいしいコーヒーの淹れ方を探索する - Qiita
はじめに 年末年始の休みに入ってすでに4日目。休みでやろうと思ったことが一通り終わってしまいました。今日からいつも行っているカフェが休みだし、暇すぎ・・・ということで、勢いに任せてOptunaでコーヒーの淹れ方の最適化始めました。 はじめようと思い立ったのが今日なので、全然データがないですが、Google Colabで作ったサンプルコードもあげておきます。 https://github.com/shu65/coffee-tuning/blob/main/coffee_tuning_blog%E7%94%A8.ipynb Optunaとは？ Optunaは機械学習などで必要になるハイパーパラメータの最適化を自動で行ってくれるオープンソースのフレームワークです。個人的に気に入っている特徴としては、従来からハイパーパラメータ最適化を自動でやってくれるものはいくつかありますが、OptunaはDef
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Vizier Gaussian Process Bandit Algorithm
CatCMA : Stochastic Optimization for Mixed-Category Problems
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Bayesian Optimization of Catalysts With In-context Learning
https://twitter.com/tmaehara/status/1645656687624241153
GitHub - google/vizier: Python-based research interface for blackbox and hyperparameter optimization, based on the internal Google Vizier Service.
An Introduction To Surrogate Optimization: intuition, illustration, case study, and the code
GitHub - pablormier/yabox: Yet another black-box optimization library for Python
GitHub - facebookresearch/nevergrad: A Python toolbox for performing gradient-free optimization
LocalSolver: Blog
ブラックボックス最適化とその応用
The competition has finished!