p値で有意と言えない効果もベイズなら効果があると言える？──事後分布に基づく仮説評価について──

この記事は，Open and Reproducible Science Advent Calendar 2020およびベイズ塾 Advent Calendar 2020の10日目の記事です。この記事では，ベイズ統計学と再現性に関わる次のようなケースについて考えてみます。 研究者のAさんは，ある実験操作をしたときとしなかったときで変数Vの平均値に差が生じるかどうかを調べるために，60名の実験参加者を30名ずつ無作為に統制群と実験群に割り当てて実験データを取得しました。変数Vの平均値を計算してみたところ，統制群は-0.028，実験群は0.348であったので，実験操作によって変数Vの平均値が数値的には増加しているように見えます(図1)。 図1. Aさんが収集したデータ。黒い横線は各群の平均値。 ところが，この変数VについてWelchのt検定 (両側検定，α = .05) を行ったところp = .