『「数理科学を使えば統計の”主義”を争う必要ない」という主張について検討する』
・はじめに 統計学の歴史では、頻度主義とベイズ主義という異なる立場の方法が存在し、違いに論争を繰り広げてきました。しかし、近年の統計学者の中には「現代の統計学は数理的な方法に基づいているから、主義の争いは解決した」と考える人もいるようです（この立場のことを、この記事では便宜的に「統計数理による主義不要論」と呼ぶことにします）。この記事では、「統計数理による主義不要論」に対して私なりの反論を考えてみることにします。論点は、以下の3つです。 1. 「“数理的な方法”を使っても、主義の争いが解決しない」ということを示唆する事実が存在する 2. 頻度主義とベイズ主義の論争を「どちらの方法が正しいか」という争いとして捉えると論争の全体像を見誤る 3. WAICに代表される現代ベイズ法の意義は、「数理によって主義の争いを解決した」のではなく「仮にあなたが頻度主義的な価値観を重視
RPubs - an example of model comparison by WAIC
Hide Comments (–) Share Hide Toolbars
Higher Order Equivalence of Bayes Cross Validation and WAIC
It was proved in the previous paper (Watanabe, J Mach Learn Res, 11:3571–3591, (2010), [16]) that Bayes cross validation is asymptotically equivalent to the widely applicable information criterion (WAIC), even if the posterior distribution can not be approximated by any normal distribution. In the present paper, we prove that they are equivalent to each other according to the second order asymptot
カイカムリのスポンジ選択で学ぶ階層ベイズモデリング - katsumushiのはてなブログ
このプレプリントで、カイカムリにサイズの異なる三つのスポンジを与えて、どのサイズを気に入るかテストしています。その解析部分をここで解説してみます。それぞれの選択肢を選ぶ確率が身体の大きさと脚の欠損度合いとどのような関係にあるか、統計モデルをつくって推定してみようと思います。また、この選択行動に個体差があると考えてそれがどれくらいか推定してみます。個性を考慮しないモデルも適用しWAICをつかったモデルの評価もしていますが、ここでは省略します。興味のあるかたは論文とコードを参照してください。 コードはこちら：https://gist.github.com/kagaya/3188dd0a4571b068e501aeef9863e255 松浦氏のStanとRでベイズ統計モデリング、階層ベイズモデルとWAICに多くを負っています。 データ CSV file for Harada and Kagaya
実対数閾値の定義に使われているゼータ関数はなぜゼータ関数と呼ばれているのか - あざらしの日常
実対数閾値の発表をするとたまにタイトルのことを聞かれることがあるのでそれについてのメモです。 モデルの分布を、真の分布をとした時、その間のKullback-Leibler divergence は と定義されます。 ここで特異学習理論においてゼータ関数は、事前分布 、に対して、 と定義されます。 このゼータ関数の最も0に近い極の符号を反転させたものを実対数閾値 (real log canonical threshold)や学習係数 (learning coefficient)などと呼ばれていて、特異学習理論においては重要な役割を果たしています。 さて、上記の関数はなぜ「ゼータ関数」と呼ばれているのでしょうか。我々のよく知っているリーマンゼータ関数は という形をしていて、全く違うように見えます。 もちろんリーマンゼータ関数は色々な表現方法があり、たとえば と書けば、少し近い形にはなりますがこ
WAICとWBICを事後分布から計算する - StatModeling Memorandum
前回の理論的なまとめを踏まえてStanでWAICとWBICを計算してみます。 今回は例題として混合正規分布から発生させたデータ100個を用いて、2種類のモデルで推定を行い、それぞれに対してWAICとWBICを求めてみます。まずはデータ生成部分のRコードは以下です。 N <- 100 a_true <- 0.4 mean1 <- 0 mean2 <- 3 sd1 <- 1 sd2 <- 1 set.seed(1) Y <- c(rnorm((1-a_true)*N, mean1, sd1), rnorm(a_true*N, mean2, sd2)) 次にモデルその1の説明です。ここでは2つの正規分布のうち平均0の方は固定で、もう片方の正規分布の平均（mu）とそれらの混ぜ具合（a）を推定することにします。Stanコードは以下です（model1a.stan）。 data { int<lower=
階層ベイズモデルとWAIC - StatModeling Memorandum
この記事では階層ベイズモデルの場合のWAICとは何か、またその場合のWAICの高速な算出方法について書きます。 背景 以下の2つの資料を参照してください。[1]に二種類の実装が載っています。[2]に明快な理論的補足が載っています。 [1] 階層ベイズとWAIC (清水先生の資料です、slideshare) [2] 階層ベイズ法とWAIC (渡辺先生の資料です、pdf, html) モデル1 資料[1]にあるモデルを扱います。すなわち、 ここでは人数、は人のインデックスです。は個人差を表す値になります。このモデルにおいてはを解析的に積分消去することができて、負の二項分布を使う以下のモデル式と等価になります。 ここでは予測として（WAICとして）2通り考えてみましょう。 以降では事後分布による平均を、分散をと書くことにします。 (1) を持つが、追加で新しく1つのサンプルを得る場合 この場合に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.tandfonline.com/doi/full/10.1080/10618600.2023.2197488
DSLT 1. The RLCT Measures the Effective Dimension of Neural Networks — LessWrong
DSLT 0. Distilling Singular Learning Theory — LessWrong
pystanによるWAIC & WBIC の計算例
Model comparison — PyMC3 3.10.0 documentation