今年の4月に新卒入社した、DSOC R&D Groupの橋本です。前回はこちらの記事で登場しました。 buildersbox.corp-sansan.com 今回は、通常の変分推論よりも高精度に事後分布を近似するアルゴリズムの1つである、Stein Variational Gradient Descentについて説明します。まず一般的な変分推論について説明します。 変分推論 (Variational Inference) 変分推論は、真の事後分布に対しパラメトリックな確率分布を仮定して事後分布を近似する手法です。Jensenの不等式を用いることで、対数周辺尤度の下限である変分下限が導出できます。入力を、確率モデルのパラメータを とすると、 として変分下限 が得られます。ここで は確率モデルの同時分布、は変分パラメータ を有する近似事後分布を表します。さらに、対数周辺尤度 と変分下限 の差を