サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
猫
mkprob.hatenablog.com
Contrastive Divergence法 (Hinton, 2002)について少し勉強したので,そのまとめです. Contrastive Divergence 法とは (確率的な)最適化方法です.正確には正規化定数が分からない(求めるのが困難)確率分布のためのパラメータの最尤法です.特にBoltzmann分布(マルコフ確率場)における最尤法を指します. 何がうれしいか 正規化定数が分からない確率分布に対しても最尤推定量に近い推定量が得られることが利点です. Boltzmann分布の例を挙げます.Boltzmann分布とは \[ p(\boldsymbol{x};\boldsymbol{\theta},\boldsymbol{W})=\frac{1}{Z(\boldsymbol{\theta},\boldsymbol{W})}\exp(-\boldsymbol{\theta}^{\to
Ridge回帰とLassoの簡単な方法の紹介です(メモ). Rのパッケージglmnetを使って簡単にできます*1. Ridge回帰とLasso 線形回帰モデルとは \[ y=X\beta+\varepsilon,\quad y\in\mathbf{R}^n,\quad X\in\mathbf{R}^{n\times p},\quad \beta\in\mathbf{R}^p,\quad \varepsilon\in\mathbf{R}^n, \] というモデルです.$y$は目的変数,$X$は説明変数(計画行列)です.誤差項$\varepsilon$には平均0の正規分布を仮定するのが基本的です. さてデータ$(X,y)$からパラメータ$\beta$を推定することが線形回帰モデルの目標ですが,Ridge回帰は \[ \hat{\beta}_{\mathrm{ridge}}:=\mathrm{a
このページを最初にブックマークしてみませんか?
『mkprob.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く