Diomedeidaeのブックマーク - はてなブックマーク

[Stan] NUTSとADVI（自動変分ベイズ）の比較
RStan2.9.0がリリースされました。今まで{rstan}パッケージのsampling関数を使っていたところを、vb関数に変更するだけでサンプリングのアルゴリズムをNUTSからADVI（Automatic Differentiation Variational Inference）に変更することができます。ADVIはユーザーが変分下限の導出や近似分布qを用意をすることなしに、自動的に変分ベイズしてくれます。得られるアウトプットはNUTSとほぼ同様で近似事後分布からの乱数サンプルです。ウリはスピードです。NUTSもADVIもデフォルトのオプションのまま実行して、NUTSと比べて50倍ぐらいスピードが出ることもあります。 NUTSと同様にADVIは効率的な探索のため偏微分を使っているので、離散値をとるパラメータは使えませんが、やはり同様に離散パラメータを消去すれば実行できます。そして、微分
Diomedeidae 2016/01/12
Stan

R

統計モデル
リンク
RStanで『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた
こんばんは、ゆるふわの対極であるところのガチムチ角刈り系のberoberoです。この記事はR Advent Calendar 2013の26日目の記事になります。 12/22(日)にBUGS/Stan勉強会#2がドリコム株式会社にて催されました。そこで2つ発表をしました。そのうちの1つ「『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた」に関する詳細＆補足＆苦労話をここで書きたいと思います。RStanというパッケージでRからStanというMCMCサンプリングソフトを使っています。最初に発表内容のスライドは以下になります。ざっと見るにはこれで十分です。『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた from berobero11 以降ではスライドごとに簡単に補足していきます。まずは元となった書籍の紹介です。時系列解析の第一人者による分か
Diomedeidae 2015/10/01
Stan

統計

AR

統計モデル
リンク
[Stan] 久保緑本11章のCAR model（空間構造のあるベイズモデル）訂正版
空間ベイズモデルの一種であるCAR modelがやっと分かった気がしますので備忘録を書きます。きっかけとなったのは以下の動画の復習です。0:13:50～0:16:30と1:14:50～1:32:20の部分です。統数研の伊庭先生がCAR modelについての講義をしている箇所です。僕は以前の記事で、動画で言うところのよく書籍で見られるCタイプのfull conditionalで1次のCAR modelを実装した気になっていましたが、これはStan内では r[i] ~ normal((r[i-1]+r[i+1])/2, s) すなわち lp__ (log posterior) には -(r[i+1]-2*r[i]+r[i-1])^2 に比例する量が足しこまれていることに相当し、これは実質的に2次のCAR modelをややこしくやっているのとほぼ同じ意味になっていました（しかも端の分だけダメ
Diomedeidae 2015/08/24
STANでCARモデル。緑本11章からの発展。勉強させていただきます。

Stan

R
リンク
Small Data Scientist Memorandum　
2013/6/12にtwitter上の#tokyorで面白い質問がありました（●Q1と●Q2）。辛抱できず自分で解決したついでに、今後も役に立ちそうな確率変数の変数変換について少しまとめてみました。 ●Q1. 以下は1.00…が出力されます。なぜですか？ sum 10000回を十分大きな数とみなせば、これは変数の平均値が出力されると解釈できます。ここでは平均0, 標準偏差1の正規分布からランダムに抽出された5サンプルであることに注意して式変形すると、となります。式の変形の途中にあるは母集団の標準偏差を表します。今回は1です。ここで、は教科書に載っているように自由度4のカイ2乗分布に従います（この証明もそんなに難しくなく重要ですが今回はパスします）。また、自由度4のカイ2乗分布の平均値は4です。よっての平均値は、となります。Q1.の最終的な出力は1となります。 ●Q2. 以下は0.94…
Diomedeidae 2014/03/26
統計

Stan
リンク
1