2019/2/13 Qiita初投稿です. [追記] 英語ですが,より詳しい説明をarXivにUploadしました. 長くなってしまったので,投稿を分離しました. Part2 Part3 Optunaのアルゴリズムは追ってみたいが,コード長過ぎるよ... という人が参照すべきコード.冗長なコードを簡潔にし,変数名の統一性が取れるようにリファクタリングしました.行数はOptunaと比較してだいぶ減っています. 自作したTPE 注意: 以前に加えた性能向上のための変更により,本記事の説明とは異なる多変量のモデルに関する実装コードでかつ突然変異のHeuristicsが入っています. Prefered Networks(PFN)から発表されたOptunaが利用しているモデル(TPE)のコードを読んでみたので自分の持つ知識内でまとめてみました.枝刈の部分については記載していません.OptunaではS
![Optuna(TPE)のアルゴリズム理解 ー Part 1 ー - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9112b202f7af7bfb46e72a3214c96a939d226da6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9T3B0dW5hJTI4VFBFJTI5JUUzJTgxJUFFJUUzJTgyJUEyJUUzJTgzJUFCJUUzJTgyJUI0JUUzJTgzJUFBJUUzJTgyJUJBJUUzJTgzJUEwJUU3JTkwJTg2JUU4JUE3JUEzJTIwJUUzJTgzJUJDJTIwUGFydCUyMDElMjAlRTMlODMlQkMmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWIzZTJjNmRmODQxOWUwNmNiYmQ2OTYwZTZkMWNlMmMw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBuYWJlbmFiZTA5MjgmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTJlNmZkNDE4ZGQ3ZTkwNDAxZmRmY2VlYzZmMWZjNGU1%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dffd5dde4494de0f51eb08745d98aaa83)