nfunatoのブックマーク - はてなブックマーク

[R, Stan] Stanでレプリカ交換法

本記事は発展的な話題です。かつて@Med_KUさんのブログ記事「てさぐれ!!RStanもの」で出てきた例題は局所最適値（local minimum）が多くて、Stanで実行する際も初期値をかなりピシッと決めておかないとダメな例題でした。しかし、モデルが高次元になってくると最初から“それらしい”初期値なんて分かりようがないし、そもそも理論的にはどんな初期値からはじめても長い間iterationをとれば大域最適値に到達してほしいです。しかし、Stanとは言え、現実的な時間内では局所最適値につかまります。溝が少し深いと出てこれません。そんな状況を打破するための発展的なMCMCの手法の1つに「レプリカ交換法（replica exchange method）」というものがあります。パラレルテンパリング（parallel tempering）としても知られています。例によってここでは詳しく説明しま

nfunato 2015/12/25

リンク

[Stan] SEMの多重指標モデルとMIMICモデル

nfunato 2015/02/08

リンク

「ベイズ統計の理論と方法」渡辺澄夫のメモ

ベイズ推測を使う人はもちろんのこと、嫌う人にもぜひ一読をすすめたい書籍です。ただし、メインの定理の証明の部分は、情報幾何学の特異点解消定理を使いますし、その他にも複素関数論・経験過程といった知識を要求されます。これらの事前知識に詳しくないと、3,4章の定理ひいてはWAICがなにやら抽象的で納得ができないといった事態になると思います。いつかp.93 例4のような特異点解消定理を使った例をいくつかこなして、さらに数値実験をして感覚をつかめたらと思います。渡辺先生は「もちろん『代数幾何学を知らなければWAICを使うことはできない』ということはありません。 WAICは簡単に計算できますので誰でも使うことができます。」とおおらかにおっしゃってくれていますので（web）現段階でも使います。また書籍には、ベイズ推測のユーザーとして参考になる「注意」「例」、各章の最後にある「質問と回答」のコーナー、さら

nfunato 2014/08/07

statistics

リンク

PyMC3の計算でGPUを使っている気がしただけの話

たまには浮気させてください。PyMC3は内部でTheanoを使っており、自動微分（auto-diff）が計算可能でStanのサンプラーであるNUTSも実装済みです。またTheanoがGPUに対応しているため、これはMCMCの超高速化が簡単にできるのではッ！と試した記事になります。まずは環境設定から。Windows 7 64bitにVisual Studio Express 2012, CUDA 6, Anaconda 2.0.0 (python 2.7 + numpyとか), theano 0.6.0, PyMC3をインストールします。手順が少し多い場合は分かる範囲でDAG構造を描くのがオススメです。学術書の章案内もDAG構造があるといいですね。さて、今回の手順の依存性をDAG構造で表すと以下になります。 1. Visual Studio Express 2012のインストールここから