8/6因果フェスのプレビュー：「系列Aと系列Bの関係は？」という問いに対する4つの素敵な解法について - Take a Risk：林岳彦の研究メモ
こんにちは。林岳彦です。エ・レ・ファ・ン・ト・カ・シ・マ・シ（←滝川クリステル風に声に出して読みたい日本語）。 さて。 今回は8月6日に迫った日本生態学会関東地区会シンポジウム（a.k.a 因果フェス）についてのプレビューを書いてみたいと思います。 今回のシンポにおける問いを一言で言うと：「系列Aと系列Bはいかなる関係か？（＊但し共変量および背景に関する情報は無いものとする＊）」 統計的因果推論というと「介入効果／措置効果の推定」のことを思い浮かべる方も多いのかもしれませんが、そのテーマは昨年に扱いました。 で、今年については本質的には以下の問いが中心になると言えるのかなと思います： 「系列Aと系列Bはいかなる関係かについて答えよ（＊但し共変量および背景に関する情報は無いものとする＊）」 はい。 これはシンプルではありますが非常に奥の深い問いです。 今回のシンポでは、この問いに対する4つの
なぜ統計学がビジネスの 意思決定において大事なのか？
35. ところが実は施策実施の詳細なデータも同時にあるとする 35 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 ad1 0 1 1 1 0 0 1 0 1 0 1 0 1 1 0 0 1 0 1 1 0 0 1 0 0 1 1 1 1 0 0 0 0 1 1 0 0 0 1 1 ad2 0 1 0 0 1 1 1 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 1 1 0 0 1 0 1 1 1 0 0 0 1 0 1 1 1 0 ad3 0 1 1 0 0 1 0 1 1 1 0 0 1 0 0 1 0 0 0 1 0 1 1 1 0 0 1 1 0 0 1 1 0 0 0 1 1 0 1 1 ad4
マイナーだけど最強の統計的検定 Brunner-Munzel 検定 - ほくそ笑む
対応のない 2 群間の量的検定手法として、最も有名なのは Student の t 検定でしょうか。 以前、Student の t 検定についての記事を書きました。 小標本問題と t検定 - ほくそ笑む しかし、Student の t 検定は、等分散性を仮定しているため、不等分散の状況にも対応できるように、Welch の t 検定を使うのがセオリーとなっています。 ただし、これら 2つの検定は分布の正規性を仮定しているため、正規性が仮定できない状況では、Mann-Whitney の U検定というものが広く使われています。 Mann-Whitney の U検定は、正規性を仮定しないノンパラメトリック検定として有名ですが、不等分散の状況でうまく検定できないという問題があることはあまり知られていません。 今日は、これらの問題をすべて解決した、正規性も等分散性も仮定しない最強の検定、Brunner-
Recovering from Selection Bias in Causal and Statistical Inference
Recovering from Selection Bias in Causal and Statistical Inference Elias Bareinboim Cognitive Systems Laboratory Computer Science Department University of California, Los Angeles Los Angeles, CA. 90095 eb@cs.ucla.edu Jin Tian Department of Computer Science Iowa State University Ames, IA. 50011 jtian@iastate.edu Judea Pearl Cognitive Systems Laboratory Computer Science Department University of Cali
ohpmain.dvi
fujisawa@ism.ac.jp 1 Contents 1. 2. 3. 4. γ- 2 1. 3 10 5.6, 5.7, 5.4, 5.5, 5.8, 5.5, 5.3, 5.6, 5.4, 5.2. 5.5 5.6 + 5.7 + 5.4 + 5.5 + 5.8 + 5.5 + 5.3 + 5.6 + 5.4 + 5.2 10 = 5.5. outlier 5 5.6, 5.7, 5.4, 5.5, 5.8, 5.5, 5.3, 5.6, 5.4, 55.2. 10.5 5.6 + 5.7 + 5.4 + 5.5 + 5.8 + 5.5 + 5.3 + 5.6 + 5.4 + 55.2 10 = 10.5. 4 5.6, 5.7, 5.4, 5.5, 5.8, 5.5, 5.3, 5.6, 5.4, 5.2. 5.6, 5.7, 5.4, 5.5, 5.8, 5.5, 5.3,
【書評・感想】「それ、根拠あるの?」と言わせない データ・統計分析ができる本
【書評・感想】「それ、根拠あるの?」と言わせない データ・統計分析ができる本 2013-09-19-1 [BookReview][献本][Mac] 献本いただきました。ありがとうございます。著者は私の高校時代の同級生で優秀な切れ者であります。そして編集者も同じ高校で同学年。そんな本書ですが、贔屓フィルターをはずしても、かなりの良著です。目的に合う人には、救いの書になるはず。 ■柏木吉基 / 「それ、根拠あるの?」と言わせない データ・統計分析ができる本 ◎データと統計で、誰もが納得する「根拠」がつくれる! 「プランに数字的な裏づけをつけたい」もしくは、「それ、根拠あるの?」、「計画通り行くの?」と突っ込まれて何も言えなくなってしまう……。 そんなとき、データ・統計分析が使えます。 本書は、はじめてデータ分析をする新人が、データ集めから始め、分析をして、プレゼン資料を作成するまでを、ストーリ
「使い分け」ではなく「妥当かどうか」が大事：重回帰分析＆一般化線形モデル選択まわりの再まとめ - 六本木で働くデータサイエンティストのブログ
先日の記事はおかげさまで好評をいただいたんですが、勉強中の身で教科書を確認せずに書いたこともあり多数ツッコミをいただきました。ツッコミをいただけるというのはもちろん大変良い勉強の機会になるということで*1、今回もひとしきり勉強してみました。 ということで、自戒も込めて備忘録的に勉強したことをまとめておこうと思います。今回はあまり広く読んでもらう内容ではないので、不親切かもしれませんがごめんなさい。ただし、あまりにも理論的側面ばかり色々書いても何なので、インターネット広告業界の言葉で喩えて言うなら「クリック数*2をモデリングしたい場合」と「コンバージョン数*3をモデリングしたい場合」とに分けた、と理解してもらえたら良いかなと思ってます。 今回も参考文献は久保本です。一般化線形モデルまわりではこの本より分かりやすい本は依然としてないと思います。 データ解析のための統計モデリング入門――一般化線
最小二乗法の過程で分散共分散行列が・・・・ - OKWAVE
＃１です。再度補足。 １）分散の定義そのものです。 詳しくは確率変数の平均値が０でないときの分散の定義を見てください。 ２）(X'X)^(-1) X'Xβ- β＝０になるということでしょうか? その通りです。(X'X)^(-1) X'X = I 、すなわち単位行列でしょう？ ３）E[(b-β)(b-β)'] = σ^2 (X'X)^(-1) 地道に計算すれば解けるのですが、 E[(b-β)(b-β)'] = E[((X'X)^(-1) X'(Xβ + ε) - β)((X'X)^(-1) X'(Xβ + ε) - β)'] = E((X'X)^(-1) X'ε) ((X'X)^(-1) X'ε)'] = E[((X'X)^(-1) X'ε) (ε'X((X'X)^(-1))] = ((X'X)^(-1) X'E[εε']X((X'X)^(-1)) = ((X'X)^(-1) X'σ^2 X
小標本問題と t検定 - ほくそ笑む
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
The Mondrian Process のメモ « 谷口忠大HomePage (たにちゅーのＨＰ) — tanichu.com –
新着記事 2015-01-01 「たにちゅーの思惑」移転のお知らせ 2015-01-01 「たにちゅーの思惑」移転のお知らせ 2014-12-31 2014年は出版ラッシュでしたよ． 2014-12-31 www.tanichu.com 2013-04-19 ビブリオバトル 本を知り人を知る書評ゲーム が発売になりました！ 2012-12-28 「SIFTよりコッチ!?」=> ORB: an efficient alternative to SIFT or SURF 2012-12-28 A Bayesian Nonparametric Approach to Image Super-resolution 2012-12-18 知能シンポ2013 OS 「コミュニケーション場のメカニズムデザイン」 へのお誘い 2012-09-19 ビブリオバトル首都決戦予選開催中！参加の呼びかけ！ 201
自然言語処理における類似度学習(機械学習における距離学習)について - 武蔵野日記
Twitter でグラフ理論に関する話題が上がっていたので、最近調べている距離学習(distance metric learning)について少しまとめてみる。カーネルとか距離(類似度)とかを学習するという話(カーネルというのは2点間の近さを測る関数だと思ってもらえれば)。 この分野では Liu Yang によるA comprehensive survey on distance metric learning (2005) が包括的なサーベイ論文として有名なようだが、それのアップデート(かつ簡略)版として同じ著者によるAn overview of distance metric learning (2007) が出ているので、それをさらに簡略化してお届けする(元論文自体本文は3ページしかないし、引用文献のあとに表が2ページあって、それぞれ相違点と共通点がまとまっているので、これを見ると非
生態学データ解析 - ベイズ統計 & MCMC
ここはベイズ推定と MCMC 法 (Markov Chain Monte Carlo method; マルコフ連鎖モンテカルロ法) 関連についてのペイジです 特に階層ベイズモデルについて [もくじ] ネット上の Bayes 推定・MCMC 計算の解説 「ベイズ推定を MCMC 計算で」なソフトウェアたち ベイズ推定と R ベイズファクターなど 書籍 べいじあんな生態学研究者 Ben Bolker Ottar N. Bjørnstad James S. Clark Kiona Ogle John Silader Christopher K. Wikle ネット上の Bayes 推定・MCMC 計算の解説 講義とか：統計学授業 や 出張統計学授業 解説記事： 岩波DS01 2016 階層ベイズモデルの解説記事 信学会誌ベイズ解説: 電子情報通信学会誌に書いた階層ベイズ解説 (2009 年 10
適切なクラスタ数を推定するX-means法 - kaisehのブログ
K-means法によるクラスタリングでは、あらかじめクラスタ数Kを固定する必要があります。HatenarMapsでもK-means法を使っているのですが、クラスタ数は（特に根拠もなく）200個に決め打ちになっていました。 これに対して、X-means法というK-means法の拡張が提案されていることを知りました。X-means法を使うと、データに応じて最適なクラスタ数を推定できます。 K-means and X-means implementations http://www-2.cs.cmu.edu/~dpelleg/download/xmeans.pdf X-means法の考え方は、K=2で再帰的にK-means法を実行していくというもので、クラスタの分割前と分割後でBIC（ベイズ情報量規準）を比較し、値が改善しなくなるまで分割を続けます。 調べたところ、Javaのデータマイニングツー
生態学データ解析 - 統計学授業
北大・環境科学院での 久保 による統計モデリング授業，生態学を研究する大学院生むけ 講義のーと (2008 年版) : 北大図書館 HUSCAP からダウンロードしてください 統計モデリングの教科書「データ解析のための統計モデリング入門」出版 (2012-05-18) 外での集中講義あれこれ: 出張統計学授業 このペイジの短縮 URL: http://goo.gl/76c4i 北大 ELMS 2018 年度 2018 年 6-7 月 の 授業のペイジ 2018 年度: 生態学基礎論 の 2 回分 2019 年 1 月 21, 23 日の 授業のペイジ (←講義資料 PDF ファイルがダウンロード可能） 2017 年度 2017 年 6-7 月 の 授業のペイジ 2017 年度: 生態学基礎論 の 2 回分 2018 年 1 月 22, 24 日の 授業のペイジ (←講義資料 PDF ファイ
マンガでわかる統計学で、統計を学び直す - $shibayu36->blog;
最近Webサービス開発する際に統計学がある程度使えそうと思って、勉強しようと思っている。それで最近買ったのが以下の本。 統計学の基礎―カラーイメージで学ぶ 作者:市原 清志,佐藤 正一日本教育研究センターAmazon ただ、買ったはいいものの、自分には少し難しく、あーまた統計の勉強挫折しそうだなー*1と感じていた。それでここでまた挫折するのは嫌だなーと思って、少しレベルを落として、《Gunosy》開発チームが厳選、WEB業界人が読むべき“統計学”の必読書ベスト５ | キャリアハックにも紹介されていた「マンガでわかる統計学」を買った。 マンガでわかる統計学 作者:信, 高橋,トレンドプロオーム社Amazon この本が統計学をこれまで避け続けてきた自分にとって非常に良かった。 2時間くらいでさっと読み終わることが出来る 統計学を学ぶ上でのはじめの一歩の部分がよくまとまっている データの種類とか
多次元正規分布間のKLダイバージェンス - mlbeginner's blog
多次元正規分布間のKLダイバージェンスは， となっているのだけど，自分にはいきなりこうなることが分からなかったので丁寧に導出してみる． まず，多(d)次元正規分布は 次に，KLダイバージェンスは と表される．このふたつの項を順に追ってみる．まず， (分散共分散行列は対角成分以外の要素が0なので，をと置き換えている？) つぎに， 初項は 第二項は (分散共分散行列は対角成分以外の要素が0なので，をと置き換えている？) ここで，より よって こういう導出を経て *参考 KL divergence between two univariate Gaussians http://www.cmlab.csie.ntu.edu.tw/~itct/slide/Information_Theory_Differential_Entropy.pdf
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Rによるノンパラメトリック回帰の入門講義: 竹澤邦夫: 本
数式をなるべく使わないベイズ推定入門
はてなブログ | 無料ブログを作成しよう
ディリクレ分布まとめ - あらびき日記
