P値が有意になるように頑張りすぎちゃっていませんか？
Natureに統計学的検定の問題についてのエッセイが出ていた。フィッシャー、ネイマン、ピアソンの言い争いの紹介も含めて、P値にまつわる議論を短くまとめている。何でも、この世には統計学的に有意であるのに再現性の無い調査や研究は多々あるのだが、統計学的な検定を盲信してしまい考察が疎かになっているせいだそうだ。 P値を扱うときの問題が三つ上げられている。一つは、偽陽性の可能性がP値から連想する以上に高いことだそうだ。統計学的な厳密な議論は説明されていなかったが、例えば帰無仮説が0.5のときに、P値が0.01で有意になったとしても、再現実験では11%以上の確率で再現が得られないそうだ。一つは統計的有意であることに満足して、その効果の大きさを考察しないことがあるそうだ。一つは、P値が有意になるように分析方法を工夫しすぎてしまうケース（P-hacking）があるそうだ。 エッセイでは探索的研究と検証的
ベイジアンな相関係数は確率！ by 高橋洋一
そんなわけが無いが、元官僚の高橋洋一氏がそう主張している*1。経済評論家の池田信夫氏の『「相関」というのは、45度線になったときが最も高く、垂直または水平になったときはゼロ（相関なし）』と同じぐらい確率・統計的に問題があると思われる。 まずは相関係数だが、確率では無いものとして定義された数字であって、定義から確率として扱えない。ベイズの主観的確率は、確率として定義してあるものを使うわけで、確立の公理を満たしている。勝手な判断をしていいと言うわけではない。 主観的確率も、少なくとも実用上は、口語で言うような主観ではない。経験ベイズで事前分布を主観的に置くわけだが確率分布しか置けないし、推定されたモデルから解釈できることは、モデルの形に依存する。当てはまりの良さも、検定される。 教科書的なベーシックな話を吹っ飛ばして実データに気ままな解釈を与える所は、高橋洋一氏と池田信夫氏は良く似ている。先日
メガバンクは国債で高利益を上げていない
人気ブロガーの藤沢数希氏が「銀行はお年寄りから集めたお金で日本国債を買うお仕事」「メガバンクは日本国債と心中する覚悟を決めた!?」と言っている。三菱UFJFGが「12年3月期決算で9813億円の利益を上げ、日本の全上場企業の中で最高の利益を叩き出した」のは、「メガバンクが持っていた日本国債の価格が大きく上がったから」だそうだ。色々と問題があるのだが、せめて決算情報を確認して欲しい。 1. 三菱UFJFGの利益に占める国債の比率は高くない 三菱UFJFGの「平成23年度決算ハイライト」を見てみよう。 利益を上げているのは確かだ。3ページを見ると、経常利益は14,719億円で、税引き後の純利益は9,813億円。 5ページの部門別営業純益を見ると、「市場・その他」がH22年度2,635億円から、3,790億円に増加しているのも確かだ。有価証券の比重が高まっているように思える。 10ページの保有有
Rが使えるフリをするための14の知識
米国FDAで公認され、ハーバード大学やイェール大学の授業で利用されるようになり、世間での認知度が着実に上昇している統計用プログラミング環境のRだが、ユーザーなのか、ユーザーになりたいのか、ユーザーとして振舞いたいのか分からない人が増えてきた。 スノッブなユーザーとして振舞う場合は、Rの特性を語れる必要があるので、ユーザーになるよりもRへの知識や理解が必要で、実は難易度が高い行動である。それでもあえて意識の高いRユーザーとして振舞いたい人々のために、最低限求められる事のチェック・リストを用意してみた。 1. 参考文献や参考ページを押さえておく 一番大事な事だが、参考文献や参考ページを押さえておこう。公式サイトで配布されている、「R 入門」「R 言語定義」「R のデータ取り込み/出力」は持っておくべきだ。R-TipsやRjpWikiも参考になる。 2. 演算子や制御構文をマスターする 四則演算
統計学を勉強するときに知っておきたい7つのポイント
マイクロソフト社が技術分野でもっと熱い専攻の一つとして分析/統計をあげている（Microsoft JobsBlog）。同社以外でも統計学は、今後最も有益なスキルの一つだと考えているようだ（NYT - For Today’s Graduate, Just One Word: Statistics）。しかし、データマイニングの話も一般化しつつあって学習ノウハウなども公開されているが、経験にあわない部分が多い。統計学を初めて勉強するときに知っておいた方が良い7つのポイントをあげてみた。 1. 学習機会やテキストは山のようにあるので利用する 確率・統計の日本語テキストは山のようにあり、大学のコースワークを振り返っても、理文問わずにほとんどの学部で確率・統計はあったはずだ。大学院のコースワークでは英語の文献を好む傾向があるが、上級テキストでも日本語のものも少なくない。また「マンガでわかる統計学」のよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
