ベイズ情報量規準及びその発展 ～概説編～ | ALBERT Official Blog
今井です。今回より数回にわたってベイズ情報量規準及びその発展について書きたいと思います。 情報量規準と聞くとAIC(Akaike, 1973)やBIC(Schwarz, 1978)が真っ先に思い浮かぶ人が多いかと思います。情報量規準を勉強したことのある人であれば、予測精度を上げるためにモデル選択をするのであればAIC、データが生成されている構造を知ろうとするのであればBICを用いるという使い分けをすることもご存知だと思います。以下ではベイズ情報量規準(BIC)に絞って説明をしていきます。 ベイズ情報量規準の目的である、予測ではなく妥当なモデルの構造を知りたい時とはどういった場合でしょうか。例えば、単なる売上の予測だけではなくMMM(Marketing Mix Modeling)を因果モデル化したモデルによる広告などの施策の効果を知りたい場合や、k-means法でクラスター分析をする時のkを
Model Change Detection With the MDL Principle
Need Help? US & Canada: +1 800 678 4333 Worldwide: +1 732 981 0060 Contact & Support About IEEE Xplore Contact Us Help Accessibility Terms of Use Nondiscrimination Policy Sitemap Privacy & Opting Out of Cookies A not-for-profit organization, IEEE is the world's largest technical professional organization dedicated to advancing technology for the benefit of humanity. © Copyright 2023 IEEE - All rig
Bayesian leave-one-out cross-validation approximations for Gaussian latent variable models
The future predictive performance of a Bayesian model can be estimated using Bayesian cross-validation. In this article, we consider Gaussian latent variable models where the integration over the latent values is approximated using the Laplace method or expectation propagation (EP). We study the properties of several Bayesian leave-one-out (LOO) cross-validation approximations that in most cases c
ベイズ統計の数理について−WAICとその数学− - Obey Your MATHEMATICS.
お久しぶりの投稿です。 最近修論やらなにやらで機械学習も統計もあまりモチベーションがなかったんですが、復活してきたので書きます。書きます。 今回の記事は、Sumio Watanabe大先生が確立した 特異モデルまでをも包括した*1 歴史上唯一のベイズ統計の理論と、そこから導出されるWAICやその裏側にある数学についてのメモを残したいと思います。 これからWatanabe先生の理論を勉強しようと思ってる人や、その概略だけでも知りたい人向けの記事です、が、あくまでメモです(disclaimer)。 この理論は多様体やら代数幾何やら特異点解消やら、なんだか難しい数学の概念がたくさん出てくると言うタレコミがあるため避けている人が大多数だと思いますが、それらの代数幾何学を理解する事は決してPractitionerが理解したいと思う範囲で本質的ではなく、結局は測度論(ルベーグ積分論)・関数解析・確率解
情報量規準LOOCVとWAICの比較 - StatModeling Memorandum
この記事はStan Advent Calendar 2016およびR Advent Calendar 2016の12月7日の記事です。StanコードとRコードは記事の最後にあります。 背景は以下です。 [1] Aki Vehtari, Andrew Gelman, Jonah Gabry (2015). Practical Bayesian model evaluation using leave-one-out cross-validation and WAIC. arXiv:1507.04544. (url) [2] 渡辺澄夫. 広く使える情報量規準(WAIC)の続き （注４）【WAICとクロスバリデーションの違いについて】 (url) [3] Sumio Watanabe. Comparison of PSIS Cross Validation with WAIC. (url) le
「ベイズ統計の理論と方法」渡辺澄夫のメモ - StatModeling Memorandum
ベイズ推測を使う人はもちろんのこと、嫌う人にもぜひ一読をすすめたい書籍です。ただし、メインの定理の証明の部分は、代数幾何学の特異点解消定理を使いますし、その他にも複素関数論・経験過程といった知識を要求されます。これらの事前知識に詳しくないと、3,4章の定理ひいてはWAICがなにやら抽象的で納得ができないといった事態になると思います。いつかp.93 例4のような特異点解消定理を使った例をいくつかこなして、さらに数値実験をして感覚をつかめたらと思います。渡辺先生は「もちろん『代数幾何学を知らなければWAICを使うことはできない』ということはありません。 WAICは簡単に計算できますので誰でも使うことができます。」とおおらかにおっしゃってくれていますので（web）現段階でも使います。 また書籍には、ベイズ推測のユーザーとして参考になる「注意」「例」、各章の最後にある「質問と回答」のコーナー、さら
WAICとWBICを事後分布から計算する - StatModeling Memorandum
前回の理論的なまとめを踏まえてStanでWAICとWBICを計算してみます。 今回は例題として混合正規分布から発生させたデータ100個を用いて、2種類のモデルで推定を行い、それぞれに対してWAICとWBICを求めてみます。まずはデータ生成部分のRコードは以下です。 N <- 100 a_true <- 0.4 mean1 <- 0 mean2 <- 3 sd1 <- 1 sd2 <- 1 set.seed(1) Y <- c(rnorm((1-a_true)*N, mean1, sd1), rnorm(a_true*N, mean2, sd2)) 次にモデルその1の説明です。ここでは2つの正規分布のうち平均0の方は固定で、もう片方の正規分布の平均（mu）とそれらの混ぜ具合（a）を推定することにします。Stanコードは以下です（model1a.stan）。 data { int<lower=
モデル選択とAICとcross validationの関係を大雑把に実験してみる - 渋谷駅前で働くデータサイエンティストのブログ
Stanの開発者でもある統計学界の重鎮、Andrew Gelmanがこんなブログ記事をupしていました。 ちなみに@berobero11さんがこの件についてこんなコメントをされてました。 AkiらのPSIS-LOOがWAICより良いとする論文が出た。https://t.co/BWYNALp88K 渡辺先生の反論はこちら。https://t.co/MLQQvQuwM7 ・WAICはCVではなく汎化誤差を小さくするもの ・MCMCを何度もやった場合の揺らぎを見よ— Kentaro Matsuura (@berobero11) October 21, 2016 WAICとcross validationの関係については渡辺澄夫先生の本にも当然のように記述があって、そこで密林でポチって読んでみたのですが、いかんせん僕の数学力が弱すぎてまだ全然理解できてない有様ですorz ベイズ統計の理論と方法 作
広く使える情報量規準(WAIC)の続き
このページでは WAIC の追加説明を行っています。 WAIC の基本事項の説明は WAIC をお読みください。 以下は、WAICについてより広く理解したいかたのための注意事項です。 以下で述べることをお読みにならなくても WAIC は誰でも利用することができます。 （注０）【値のスケーリング】 情報量規準の値を定義するとき、AIC や DIC のオリジナルに合わせて 汎化損失の 2n 倍を用いることがあります。 （たとえば 「Gelman他, Bayesian Data Analysis, CRC Press,2013」の記述では 2n倍の ものが用いられています）。それはすなわち AIC=－２×対数尤度＋2×パラメータ数 にスケールを合わせて比べることができるということです。 この意味でスケールを合わせたい場合には、上記の WAICの式を 2n 倍してください。 ○ この「2n倍」を用
[STAN] [R] STAN の出力加工方法2 DIC の計算 - ill-identified diary
概要 前回の(R) Stan の出力加工方法 - ill-identified diaryのおまけ的な形で書いた. BUGS には DIC を計算する機能があるらしいが, rstan にはないので書いてみた. Spiegelhalter et al. (2002) で提案された DIC, デビアンス情報量規準はベイズ統計でモデルの選択に用いられる指標である. 詳しい説明は元論文に任せて, この記事では簡単な説明だけに留める. Gelman et al. (2013) の Ch. 7, takehiko-i-hayashi.hatenablog.com, あるいは 小西 (2008) にも少しだけ言及がある*1. 2017/6/9 追記 不勉強だったのでよく理解していなかったのだが, DIC は計算に事後分布の平均を利用しているため、正則モデルに対してのみ有効である. ベイズ統計に特有の複雑
![[STAN] [R] STAN の出力加工方法2 DIC の計算 - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/802b4cfec7b63ac79ec6b9c36277781bff8d465a/height=288;version=1;width=512/http%3A%2F%2Fecx.images-amazon.com%2Fimages%2FI%2F51mTTnd%2B7mL.jpg)
階層ベイズモデルとWAIC - StatModeling Memorandum
この記事では階層ベイズモデルの場合のWAICとは何か、またその場合のWAICの高速な算出方法について書きます。 背景 以下の2つの資料を参照してください。[1]に二種類の実装が載っています。[2]に明快な理論的補足が載っています。 [1] 階層ベイズとWAIC (清水先生の資料です、slideshare) [2] 階層ベイズ法とWAIC (渡辺先生の資料です、pdf, html) モデル1 資料[1]にあるモデルを扱います。すなわち、 ここでは人数、は人のインデックスです。は個人差を表す値になります。このモデルにおいてはを解析的に積分消去することができて、負の二項分布を使う以下のモデル式と等価になります。 ここでは予測として（WAICとして）2通り考えてみましょう。 以降では事後分布による平均を、分散をと書くことにします。 (1) を持つが、追加で新しく1つのサンプルを得る場合 この場合に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RPubs - AIC, WAIC, WBICを実感する
Aic & bic
Model comparison — PyMC 5.16.2 documentation
Cross-Corpora Comparisons of Topics and Topic Trends
A Bayesian information criterion for singular models
Implementing WAIC · Issue #888 · pymc-devs/pymc
Practical Bayesian model evaluation in Stan and rstanarm using leave-one-out cross-validation | Statistical Modeling, Causal Inference, and Social Science
A Bayesian Information Criterion for Singular Models
http://exploredoc.com/doc/6526342/%E6%9C%80%E6%80%A5%E9%99%8D%E4%B8%8B%E6%B3%95%E3%81%AB%E3%82%88%E3%82%8B%E6%83%85%E5%A0%B1%E9%87%8F%E8%A6%8F%E6%BA%96wbic%E3%81%AE%E5%AE%89%E5%AE%9A%E7%9A%84%E8%A8%88%E7%AE%97%E6%B3%95-%E6%B8%A1%E8%BE%BA
