p値とAIC(赤池情報量基準)の関係について - 蛍光ペンの交差点
現段階での理解をまとめる。 間違った記述があれば、読者諸氏からのご指摘を頂きたい。 (p値を使うNeyman-Pearsonの)検定によるモデル選択と、AICによるモデル選択を比較した図として、管見では以下が最も整理されていた。薄緑の付箋と黄色のハイライトは私が追加したものである。 (『データ解析のための統計モデリング入門』、久保拓弥、96ページ、2014年7月第10刷より引用) 前掲書の文脈において、この図の主張は以下である。 モデル推定の文脈では、モデルの説明変数の係数に対する検定は「係数=0としたモデル（＝説明変数が１つ少ないモデル）が真のモデルである」という帰無仮説を棄却するものである。そして、図では(見解が統計学者によって恐らく分かれるので恐らく意図的に)記載されていないが、「帰無仮説を棄却したときに対立仮説(=説明変数が1つ多いモデル)を採択する」という論証を踏むことになる。た
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
マイナーだけど最強の統計的検定 Brunner-Munzel 検定 - ほくそ笑む
対応のない 2 群間の量的検定手法として、最も有名なのは Student の t 検定でしょうか。 以前、Student の t 検定についての記事を書きました。 小標本問題と t検定 - ほくそ笑む しかし、Student の t 検定は、等分散性を仮定しているため、不等分散の状況にも対応できるように、Welch の t 検定を使うのがセオリーとなっています。 ただし、これら 2つの検定は分布の正規性を仮定しているため、正規性が仮定できない状況では、Mann-Whitney の U検定というものが広く使われています。 Mann-Whitney の U検定は、正規性を仮定しないノンパラメトリック検定として有名ですが、不等分散の状況でうまく検定できないという問題があることはあまり知られていません。 今日は、これらの問題をすべて解決した、正規性も等分散性も仮定しない最強の検定、Brunner-
統計モデルに観測値と観測値の割り算値を入れたときのバイアス - 餡子付゛録゛
「データ解析のための統計モデリング入門」の著者の久保拓弥氏へのお返事なのですが、別所の「統計モデルに観測値と観測値の割り算値を入れても問題ない」に対して以下のようなコメントをもらったので、具体的な例を作ってみました*1。 …まあ，みなさん割算値だい好きだし，これからも割算値いりの統計モデルが使われるのでしょう．とりあえず「この場合は明らかにかなりまずいでしょ」とわかる例を何か作ってみようかな… 誤差項がコーシー分布のようなものになったときに、どのぐらいバイアスがかかるのかに関して、直観的な話です。 1. 真のモデルに割り算が無いケースを考える 以下のようなx、y、zの関係を現す真のモデルを考えます。 「観測値は非確率変数で、未知の何かが誤差項を作っている」と仮定すると終了するので、xの観測値x'はxと正規分布に従う観測誤差、yの観測値y'はと正規分布に従う観測誤差の合算とします。後のシミュ
統計モデルに観測値と観測値の割り算値を入れても問題ない
『「データ解析のための統計モデリング入門」6.6章 割算値はなぜダメなのか？』と言うエントリーが出ていて、タイトルにある署名の本の6.6章「割算値の統計モデリングはやめよう」に、タイトルの通りの疑問が呈されていた。 問題の本は生物系研究室の常識が詰まっているようなのだが、一般の統計利用ではやや窮屈な側面もあるようで、以前も離散データだから最小二乗法が使えないと言うような誤解を招いていた。今回の御題は統計モデルに観測データ同士の割り算値を持ち込めるかと言う事だが、大半のケースでは問題ないから気にするのはよそう。 「比率にすることで元のスカラー値の情報が失われる」と言うのは、計量モデルで何を見たいかと言う問題で、例えば男女比が学級崩壊を引き起こすかのような仮説を立てたら、観測データ同士の割り算値を持ち込まざるを得ない。経済系はもちろん、実験データの処理などでも見かける操作である。みんなガシガシ
「データ解析のための統計モデリング入門」6.6章 割算値はなぜダメなのか？ #みどりぼん - 木曜不足
昨日 7/29 の「第6回「データ解析のための統計モデリング入門」読書会」は参加しなかったのだが、ニコ生で中継してくださっていたので後半を聞くことができた。 6.6章「割算値の統計モデリングはやめよう」では、タイトルの通り観測データ同士を割り算するなと話しているわけだが、読んでいていろいろ疑問に思うところがあり。 読書会中継でちょうど 6.6 章以降を担当された 0kayu さんの発表を聞くことができたのだが、気になっていたあたりは特に質疑でも話題にならず残念。 というわけで、誰かがツッコミを入れてくれることを期待して自分の疑問をここに書いておく。 「データ解析のための統計モデリング入門」6.6章では統計モデルに観測データ同士の割り算値を持ち込むことを批判している。その理由として、 比率にすることで元のスカラー値の情報が失われる 値それぞれが分布を持っている場合、それらの割り算値の分布がよ
ダメな統計学：目次｜Colorless Green Ideas
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
人口密度と出生率
2014年10月29日の日経新聞記事（真相深層）少子化対策より交付金？ 地方創生「東京集中是正論」の裏側 都市の若者支援急務（有料）に載っている「欧州の地域別人口密度と出生率」というプロットがひどいというこのツイートが話題になっていた。 データについては，微妙に違うようだが，鈴木努先生（@snatool）に教えていただいたものがほぼ同じようである： tgs00100 (Fertility Rate) tgs00024 (Population Density) これら（gunzipで伸長）をRで読み込む。 fertility = read.table("tgs00100.tsv", header=TRUE, as.is=TRUE, na.strings=":") popden = read.table("tgs00024.tsv", header=TRUE, as.is=TRUE, na.s
統計の落とし穴と蜘蛛の糸｜実験医学online：羊土社 - 羊土社
「実験医学」に2014年2月から開始した連載「統計の落とし穴と蜘蛛の糸（三中信宏）」が単行本化いたします．人間が進化の過程で得てきた「認知的性向」は統計学の本質ともいえるものです．単なる計算方法や理論ではなく，「ものの考え方」としての統計的思考について，分野の歴史から，科学哲学の視点も含めつつご紹介いただきます．実験医学online上では引き続き第1回をご覧いただけますのでぜひご一読ください．（編集部） 私の職務上の表看板は「生物統計学」です．農林水産省系の独立行政法人農業環境技術研究所を本務地とし，兼任している東京大学農学部にも研究室をもっています．そういうポジションにいれば，ごく日常的に，農学系あるいは生物科学系の研究員や学部生・大学院生に統計学を教える機会が多くなり，また統計分析に関する質問を受けるコンサルタント業務も年々増えてきました．仕事や研究を進めるうえで統計分析とかデータ解析
Winning Isn’t Everything: Corruption in Sumo Wrestling
Winning Isn’t Everything: Corruption in Sumo Wrestling By MARK DUGGAN AND STEVEN D. LEVITT* There is a growing appreciation among econ- omists of the need to better understand the role that corruption plays in real-world economies. Although some have argued that it can be wel- fare enhancing (Nathaniel Leff, 1964), most commentators believe that a willingness to ac- cept bribes (or similar forms o
ビッグデータは時代を変えるのか？ - hiroyukikojima’s blog
今回のエントリーでは、ぼくが寄稿した雑誌『現代思想2014年6月号』青土社の紹介をしようと思う。この号の特集は「ポスト・ビッグデータと統計学の時代」だ。 現代思想 2014年6月号 特集=ポスト・ビッグデータと統計学の時代 作者: 西垣通,ドミニク・チェン,竹内啓,小島寛之,津田敏秀,樫村愛子,西川アサキ出版社/メーカー: 青土社発売日: 2014/05/26メディア: ムックこの商品を含むブログ (4件) を見るビッグデータというのは、主にインターネットやSNSに集積される巨大なデータセットのことで、これを解析することで、これまでとは異なる統計的な推測が可能になる、と謳われている。例えば、グーグルで「発熱」や「解熱剤」などの検索が顕著に行われている地域を時系列で追うことでインフルエンザの流行とパンデミック経路を特定した事例や、アップルのCEOであった故スティーブ・ジョブズが、自分の癌の治
p値と信頼区間に関して繰り返し起こる論争を再訪する - himaginary’s diary
という論文の要約と結論が、バージニア工科大学の統計学者Deborah G. MayoのブログError Statistics blogで紹介されている（H/T Dave Giles）。原題は「Recurring Controversies About P Values and Confidence Intervals Revisited」で、著者はMayoの同僚のAris Spanos。 以下はその要旨。 The use, abuse, interpretations and reinterpretations of the notion of a P value has been a hot topic of controversy since the 1950s in statistics and several applied fields, including psychology
データ分析において必要なことを原点に立って考えてみる - Qiita
今日は統計や技術の詳細な話は少しお休みして、そもそもデータマイニングとは何なのか、分析において必要なことは何なのかを考えてみます。 仮説力とは何なのか データ分析の実務においては、分析モデルの手法や統計的方法の前にまず検討しなければならないことが多々あります。たとえば分析対象の問題をどのように設定するか、対象の特徴 (= 属性、振る舞い等) をどのように表現するか、何を可視化するかあるいはそれをどう決めるか、ログなどを用いて特徴の計算方法をどのように定義するか、といったことなどです。 実務というのは大学での実験ではありません。目の前にあるデータに対して興味先行で機械学習や統計的手法を適用しても得られるものはありません。統計学の有名な言葉に GIGO (ゴミを入れればゴミが出てくる) という言葉がある通り、高度な解析手法やツールに溺れても自己満足で不適切な分析に終わってしまうのです。 分析の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How dinosaurs could help us fight malnutrition
RPubs - Brunner-Munzel 検定
Microsoft Word - articleDM4TDAN.doc
【ひとこと】有意差でたよっ | こえであそぶ koebu～声優・歌のオーディションも開催中～
[PDF]順序尺度の相関係数（ポリコリック相関係数）について 小杉考司 1 導入 社会調査において、三件法、五件法で得られたデータを因子分析していたりするけど、実は理論 的にはマズイこ
Base SAS(R) 9.3 Procedures Guide: Statistical Procedures
甚大災害の外力想定に必要となる極値統計解析法の背景と活用 文部科学省委託事業 数学協働プログラム（受託機関：統計数理研究所） 開催日： 2014 年 12 月 8 日（月） 10:00 〜 17:00 開�