Outline Monte Carlo 獲得関数 勾配法による最大化 貪欲法による逐次最適化(Sequentialモード) Intro 前回に引き続き、BoTorchの解説記事です。 BoTorchの最大の特徴は、獲得関数の最大化を勾配法で統一している点にあります。それを実現できたのは、BoTorchがMonte Carlo獲得関数という概念を取り入れたことによります。 ベイズ最適化(Bayesian Optimization; BO)では通常、候補点の中から獲得関数を最大にする点を選び、次の評価対象とします。 $$x^{*} = \arg\max _{\mathbf{x}}{\mathcal{L}(\mathbf{x})}$$ しかしこの最大化は必ずしも容易ではなく、複雑な獲得関数(Entropy SearchやKnowledge Gradientなど)を扱う場合や、複数の候補点を選ぶ(
![[BoTorch]Monte Carlo獲得関数とその最適化 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/07613c313a0879c0e67754d4c904a4a4fc867d92/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCQm9Ub3JjaCU1RE1vbnRlJTIwQ2FybG8lRTclOEQlQjIlRTUlQkUlOTclRTklOTYlQTIlRTYlOTUlQjAlRTMlODElQTglRTMlODElOUQlRTMlODElQUUlRTYlOUMlODAlRTklODElQTklRTUlOEMlOTYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTBkZmZkNDNmNzExZTdmOGUzZGMxMjU3MGMwYTcwYmRj%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwbmFycm93bHlhcHBsaWNhYmxlJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lZjA4ZWVjZDJhNmY3YzVmOGY5ZjExODhlYmJmNTUzZQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dc47fa2c3b77534b18ca2aef84e616bd5)