タグ

2016年2月3日のブックマーク (3件)

  • Contrastive Divergence 法 - 突然終わるかもしれないブログ

    Contrastive Divergence法 (Hinton, 2002)について少し勉強したので,そのまとめです. Contrastive Divergence 法とは (確率的な)最適化方法です.正確には正規化定数が分からない(求めるのが困難)確率分布のためのパラメータの最尤法です.特にBoltzmann分布(マルコフ確率場)における最尤法を指します. 何がうれしいか 正規化定数が分からない確率分布に対しても最尤推定量に近い推定量が得られることが利点です. Boltzmann分布の例を挙げます.Boltzmann分布とは \[ p(\boldsymbol{x};\boldsymbol{\theta},\boldsymbol{W})=\frac{1}{Z(\boldsymbol{\theta},\boldsymbol{W})}\exp(-\boldsymbol{\theta}^{\to

    Contrastive Divergence 法 - 突然終わるかもしれないブログ
    masatoi
    masatoi 2016/02/03
    RBMの学習は隠れ変数のある最尤推定だからEMアルゴリズムかなと思ったら対数尤度の勾配がうまく計算できないらしく、サンプリングでやるContrastive Divergence法というのを使うらしい。
  • 制限付きボルツマンマシンの初心者向けガイド | POSTD

    目次 定義と構造 復元 確率分布 コードサンプル:Deeplearning4jを使ったIrisで制限付きボルツマンマシンを起動する パラメータ及びkについて 連続的なRBM 結論及び次のステップ 定義と構造 Geoff Hintonによって開発された制限付きボルツマンマシン(RBM)は、次元削減、分類、 回帰 、協調フィルタリング、特徴学習、トピックモデルなどに役立ちます。(RBMなどの ニューラルネットワーク がどのように使われるか、さらに具体的な例を知りたい方は ユースケース のページをご覧ください。) 制限付きボルツマンマシンは比較的シンプルなので、ニューラルネットワークを学ぶならまずここから取り組むのがよいでしょう。以下の段落では、図と簡単な文章で、制限付きボルツマンマシンがどのように機能するのかを解説していきます。 RBMとは浅い2層のニューラルネットであり、ディープビリーフネッ

    制限付きボルツマンマシンの初心者向けガイド | POSTD
    masatoi
    masatoi 2016/02/03
    入力層と隠れ層しかないシンプルなモデル。教師なし学習に使う。これの隠れ層を次の層の入力層と見なして重ねていくのがDBMで、ディープラーニングの事前学習に使われる。
  • GitHub - melisgl/mgl: Common Lisp machine learning library.

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

    GitHub - melisgl/mgl: Common Lisp machine learning library.