Rustで実装するZeroGrads: ブラックボックス関数に対して勾配法を適用

TL;DR ZeroGradsという解析微分を定義していない関数[1]に対して勾配法に似た最適化を行う新しいアルゴリズムの紹介。 Rust + candleライブラリでZeroGradsを実装して、簡単な高次元関数で効果的に機能するかの確認を行った。 Optunaなどのベイズ最適化と比較と使い分けの雑感を書きました。 はじめに 最適化問題は機械学習、コンピュータグラフィックス、工学設計など、多くの分野で重要な役割を果たしています。しかし、高次元の複雑な問題や勾配情報が直接利用できない場合、従来の最適化手法では効率的に解を見つけることが困難でした。 本記事では、この課題に取り組む新しいアプローチであるZeroGradsアルゴリズムの紹介を行い、実際にRust+candleで実装を行うことでその実装方法を紹介していきます。 2. ZeroGradsアルゴリズムの概要 ZeroGradsの特徴