Tokyo.stanの感想 - xiangze's sparse blog
stan開発者の一員であるBetancourtさんを招いたTokyo.stanを聴きにいきました。 Michael Betancourt's Stan Lectureを開催しました - StatModeling Memorandum 自分はstanを余り使いこなせていないのですが、主にアルゴリズムと実装に関する感想を書きます。 HMCの説明をされている中で推定されるべき事後分布の関数の等高線を回るようにサンプルしているという説明が非常に明快でした。事後分布の勾配である"重力"に対して直交する方向に運動量が存在すれば分布の極大値にとどまらずにその周囲を回るようにサンプリングがされます。ニュートン力学そのものです。 赤が勾配、青が運動量 最適化問題は山を登るか(下る)ような勾配系の問題としてイメージできますが、MCMCは分布を推定するので相空間を等エネルギー面に沿ってぐるぐる回るハミルトン系の
自動微分変分ベイズ法の紹介
5. ベイズ推定 ベイズ推定は観測データに基づいて確率モデルのパラメータの不確 かさを 推定する⽅法です. p(X|D) = p(D|X)p(X) p(D) • X: 確率モデルのパラメータ • D: 観測データ • p(X): 確率モデルのパラメータ事前分布 • p(D|X): 尤度 • p(X|D): 確率モデルのパラメータ事後分布 事後分布を解析的に計算できるのは限られた場合であり, 複雑な確率モデルでは近似計算が必要です. 5 6. ベイズ推定の近似計算 MCMC 事後分布からサンプリングを⾏う⽅法です. • ⻑所: 複雑な式の導出が不要 （尤度と事前分布を記述すれば良く, 分布に関する仮定が緩い） • 短所: マルコフ連鎖の収束判定が難しい 変分ベイズ法 事後分布を試験分布で近似する⽅法です. • ⻑所: MCMC と⽐べて収束が速い • 短所: 確率モデルごとにパラメータ更新式
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
