クイズ：これ何を意味している図でしょう？ どうもこんばんは。みなさん冒頭の棒グラフとその横のデータの分布を示した図の意味は分かったでしょうか。結論から言えば、右のようにデータの分布が異なっても、実は同じ棒グラフになるという事例でした。 （もちろん、表の真下にある検定結果も異なっています。これは恐ろしい問題ですね。） というわけで、今回は珍しく、論文紹介をしたいと思います。きっかけは友達とスタバで「データの要約や図示」について話してたことで、この論文の存在を思い出し、何言ってたかなーときちんと整理しようと思いました。 今回紹介する論文は Beyond Bar and Line Graphs: Time for a New Data Presentation Paradigm （Weissgerber TL, et al. PLOS BIOLOGY (2015)）です。 イントロ まず、この論

（わざわざ手描きにしたのに結局著作権が危うい絵を描いている） どうもこんにちは、博士論文（仮）を提出したばかりのぴちぴちのD3、@calicolicaliです。学生最後ということで、院生しか登録できないAdvent calendarに登録させていただきました！ ʕ◔ϖ◔ʔ 「統計について」という事前コメントをしましたが、 私の専門はアルゴリズム寄りのComputational Biologyで、これまではRNA二次構造予測ソフトウェアParasoRの開発や、配列アラインメントソフトウェアLASTの開発に関わらせていただいたりしてきました。（ご興味あればぜひ！）しかしこの分野では「網羅的な遺伝子データや配列情報を扱うためには統計や機械学習が必要！」ということで、日々これらの分野の勉強をしております。 そんな私が紹介する、今年読んだ一番好きな論文はこちら(｀・ω・´)つ "Estimating

不確実性のもとで選択の評価を社会的にどう集計するか，という問題を考える．具体例はいくらでも浮かぶだろうが，敢えて言及しない． 静的な社会的選択論と異なり，ここでは「選択＝帰結」ではない，なぜなら選択の帰結は諸々の不確実な要因に左右されるからである．そこでは，二種類の意見の不一致がある．*1 まず，選択の帰結の評価が人々の間では異なる．一つの帰結がある人にとっては望ましいがある人にとっては望ましくない，そして他の帰結については逆，などなどというのが常態だ．これは静的な社会的選択論で既にカバーされている話である． もう一つは，不確実要因についての確率的予想の不一致である.*2究極的な意味においては，「正しい確率」などというものは存在せず，あくまでも確率は主観的なものに過ぎない． この主観的確率と帰結評価の二重不一致が存在するときには，「見た目の全会一致」が起こる．Gilboa, Samet,

前回の記事では多重検定がキーワードとなりましたが、良い機会なので、今回は例を交えながら多重検定がもつ問題のインパクトについて説明したいと思います。 （＊「多重検定って何？」という方はこちら） 結論を先に書くと、多重性を調整しない多重比較がなぜ忌むべきものかというと、それはそのような多重比較を悪用すると「いとも簡単に無から有（意差）を生むことができる」からです。 では、そのことを「マウスへ化学物質を投与して影響を調べる」という仮想実験を例に見てみましょう。 仮想実験：マウスへ5種類の化学物質を投与する 仮想例として、5つの化学物質（物質A, B, C, D, E）をマウスに投与してその影響を調べる実験を考えてみます。 影響のエンドポイントとしては5つの器官（肝臓・腎臓・脳・肺・皮膚）の各細胞における量的なバイオマーカーの変化を用います。 それぞれの「エンドポイント・化学物質」ごとのサンプルサ

以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日（現地時間）に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p

1) Canonical correlation analysis (CCA) is a statistical method that analyzes the correlation relationship between two sets of multidimensional variables. 2) CCA finds linear transformations of the two sets of variables so that their correlation is maximized. This can be formulated as a generalized eigenvalue problem. 3) The number of dimensions of the transformed variables is determined using Bar

2022年3月15日 Googleドライブの権限変更のため，ファイルが共有されていませんでした．リンクを変更しました． 「相関係数が0.7あれば、相関が高いと言える」 などの目安を、教科書や入門書で見かけたことは ありませんか？ 私は、ちょくちょく目にするのですが、 どこの 誰が いつ 言い出したのか、ずっと不思議に思っています。 下記のリンクにあるPDFファイルで、その歴史的 変遷を追ってみました。 相関係数の大きさに対する目安の歴史的変遷.pdf 相関係数の大きさに対する目安の歴史的変遷.pdf - Google ドライブ 長くてすみません。 上手にまとめることができませんでした。 今回調べたところでは、20世紀初頭のアメリカに おける統計学や教育統計学の入門書において、 いくつかの目安が誕生したようです。 イギリスのGalton, K. Pearson, Spearmanなども 相関

2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と

ベイズ派統計学の歴史についての本 あくまで歴史なので、ベイズ統計についての説明はあまりないが、関わった人物のエピソードなどが中心となっている。 アレックス・ローゼンバーグ『科学哲学』 - logical cypher scape2やラプラス『確率の哲学的試論』（内井惣七訳） - logical cypher scape2が、ベイズだったので、ベイズの勉強。 統計学の中では、頻度主義というのが主流で、ベイズ派はずっとマイノリティだった。 まず、ベイズ自身がそもそもベイズの定理を公表しておらず、続いて数学的な定式化を行ったラプラスも晩年は頻度主義に転向し、19世紀は完全に頻度主義の時代で、第二次大戦で実際に使われるようになるも軍事機密扱いで世の中に広まらず、戦後少しずつベイズ派が広まり始めるも計算が大変でなかなか実用化されず…… と、ベイズ的な考え方はずっと不遇の日々を送ってきたわけだが、その

accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT ......................................................................................................................... .....................

はじめに 今回は、ウェブを通じて無料で読むことができる統計に関する書籍を紹介したい。英語で書かれた本が多いが、日本語で書かれた本も若干ある。 入門書 まず、統計の初学者のために書かれた入門書を紹介したいと思う。 福井正康 (2002). 『基礎からの統計学』基礎から扱っている統計の入門書である。統計を扱う際に必要となる場合の数、確率などについて詳しく説明している。理解を助けるための演習問題とその解答がついている。統計処理用のソフトとしてはExcelを使っている。同じサイトに社会科学系の学生向けの数学の教科書もある。 小波秀雄 (2013). 『統計学入門』基礎から扱っている統計の入門書。内容としては、記述統計、確率、確率分布、簡単な推定・検定、相関と線形回帰などがある。確率や確率分布などの理論的な話が占める分量が多いので、分量のわりには、具体的な統計手法はあんまり載っていない。もちろん理論

「統計学の哲学」勉強会について三中信宏さん @leeswijzer のツイートをまとめました。 「誤用：AIC最小モデル＝「真」のモデル．めでたしめでたし」 『科学と証拠-統計の哲学 入門-』を次に読むときのおやつ用 続きを読む

読みました！　自信をもって学生にお勧めできる本であると思います。 統計学が最強の学問である 作者: 西内啓出版社/メーカー: ダイヤモンド社発売日: 2013/01/24メディア: 単行本（ソフトカバー）購入: 11人 クリック: 209回この商品を含むブログ (126件) を見る 「統計学が最強」という言い方の"根拠"となっているのは、なによりもランダム化比較実験によって理論や経験知をすっ飛ばして因果関係に白黒つけることができるから、ということらしいです。このカテゴリーの本（いわゆる統計リテラシー本）は数あれど、たいていは調査（標本抽出）の怪しさや分かりやすい擬似相関について言及があるのみで、ランダム化を基軸に据えた記述はほとんどなかったと思います。言うまでもなく、R. フィッシャーの大発明であるランダム化は、実験のみならず調査観察データの分析の方針（特に計量経済学のもの）にも決定的な影

どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

我が家のダグウッド ダグウッドとはハナミズキのことである。昔、日本からポトマックリバーの桜の苗木を送った返礼として、アメリカから送られて来たのが日本での始まりで、アメリカ原産でアメリカヤマボウシともいうらしい。 最近では日本でも、あちこちで、街路樹であったり、庭木であっ…