サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
災害への備え
nmasahiro.com
naiveな勾配法 目的関数$E(\theta)$が1回微分可能であるとし,現在のパラメータを$\theta _ t$とする. 単純な勾配法では,学習率$\eta (0 \leq \eta \leq 1)$を用いて, $$ \begin{align} \theta _ {t + 1} = \theta _ t - \eta \nabla _ {\theta} E(\theta _ t) \end{align} $$ と更新する. Newton法 導出 目的関数$E(\theta)$が2回微分可能であるとする. まず,$E(\theta)$を点$\theta _ t$においてTaylor展開すると, $$ \begin{align} E(\theta) = E(\theta _ t) + (\theta - \theta _ t)^{\top} \nabla _ {\theta} (\the
はじめに 本稿では,Hyperband[Li 18]とベイズ最適化を組み合わせた手法であるBOHB[Falkner 18]について解説する. 今回実験は行わないが,実験をする場合は,著者らが公開しているOSSであるHpBandSterを利用して実験を行うのが良さそうなので,適宜そちらを参照されたい. ベイズ最適化 ベイズ最適化の概要についてはこちらの記事で解説を行っているため,本稿では省略する. ベイズ最適化に用いられるsurrogate functionとしてはGaussian Processが有名だが,サンプル数$n$に対して時間計算量が$\mathcal{O}(n^3)$となるため,サンプル数を大きくすると実用的に使いづらくなるという問題点が存在する. そこでBOHBでは,サンプル数$n$に対して$\mathcal{O}(n)$で計算できるTree-structured Parzen
このページを最初にブックマークしてみませんか?
『Masahiro Nomura』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く