データ分析の不思議、シンプソンのパラドックスを統計的因果推論から考える - Unboundedly

今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象がおきるので頭の体操としてとても面白いです。 あまりに有名なパラドックスであるため日本語でも解説がいくつか出ていますが、人によって言っていることが違っていたり、不完全であったりします。多くはシンプソンによるオリジナルの論文を読んでないことから起因するのだと思います。 例えばシンプソンのパラドックスを交絡の問題だと捉える人は多いですが、個人的に不完全だと思います（間違いではない）。このように誤解が広まった歴史的背景も含めて、詳しく書いていきたいと思います。ちなみにアニメのシンプソンズはこの問題と全く無関係です。 そもそもシンプソンのパラドックスとは？ シンプ

[brendon]

"ちなみにアニメのシンプソンズはこの問題と全く無関係です" それはいいんだけど、この写真の缶ジュースどこに売ってるの？id:new3 ありがとうございまーす

[houyhnhm]

端的に言って、男女の参加者のバランスが狂ってる。因果関係で説明する前に標本のサンプリングおかしい。

[wildhog]

これは不思議で面白い。私の直感は本当に当てにならない。

[nt46]

データ分析は所詮頭の悪い人類のための縮約

[himako13]

なるほど。／分析や機械学習を魔法の杖だと思ってる層に読ませたい

[new3]

id:brendon http://www.canmuseum.com/Detail.aspx?CanID=75778

[redmagic1417]

それぞれ比率が異なるものの母数を変更しておいて、その合計の比率の比較に意味があるとすることが普通に間違っていて、パラドックスとか全然感じないんだけど。

[takehiko-i-hayashi]

この記事でWikipediaの"This test, called "back-door," reduces Simpson's paradox to an exercise in graph theory"の文意が広く伝わりそう。良記事に多謝／ https://en.wikipedia.org/wiki/Simpson%27s_paradox

[fhvbwx]

シンプソンのパラドックス

[oooooooo]

リベラルな The Simpsons が FOX なこともパラドックス

[georgew]

データから得られる関連に因果的な解釈をしたい場合、どのような分析が適切かをデータドリブンで決めることはできない > 頭がつん、やね。データの文脈を判断できる知見がデータとは別に必要。

[karaage]

初めて知った。こんなケースもあるのか

[guren004]

理解できないので検算した。圧倒的に薬や治療の効きやすい女側の新薬Aの人数を多くし（40人）、並の効果の男側の新薬Aの人数を少なく（20人）することで、合計したときだけ女性側勢力で新薬Aが有利に見えるのね！

[tekitou-manga]

普通に論理的パラドックスだと思っちゃったよ

[kawa106]

これは面白い。だが理屈をいつまで理解できてるか他人に説明できるかは全く自信ない

[osugi3y]

実際薬の効能を評価する時はこれに偽薬のプラセボ群も加わって評価するんだよなぁ

[nida3001]

因果が先に分かっていないと正しい因果解釈はできないということでいいのかな

[fb001870]

こんなことあるんだ、頭こんがらがるな。

[watasuke221]

ほえー(わかってないけどそういうことがあるのはわかった)

[gnety]

母数警察が・・・全滅してるっっ

[kowa]

物事の背後にクリティカルな要因があって、それを知らずにbiased sampleしたら結論が入れ替わることもあるってことだね。なので実験計画法としてはランダムなアサインが重要。すれば男女比がこんなに偏ることもない。

[ROYGB]

パラドックスが起きる場合があるのは確かだとして、起きないようにデータ数をそろえたりすることもできるような。

[Taniken]

“トランプのカードが合計52枚あるとします（ジョーカー抜き）。トランプには赤色（ハートとダイヤ）と黒色（スペードとクローバー）が半々、26枚ずつあります。また絵柄（J, Q, K)は赤色6枚ずつ、合計12枚あります。一度

[kazusan85]

ついにこのレベルの解説がネットの記事になったか〜と驚く。人工知能ブームも悪いことばかりではない。

[yasyas]

”データから得られる関連に因果的な解釈をしたい場合、どのような分析が適切かをデータドリブンで決めることはできない。”

[akanama]

データだけでは、相関は分かっても因果は分からない。相関と因果と解釈は、それぞれ異なる。

[sutatin]

めちゃくちゃ面白い、データ分析と解釈は別にして考えないといけないのに、意味のある解釈をするために昨今重宝されて来てるのも、矛盾的で面白い。

[estragon]

「①全く同じデータでも、Cが共通効果なのか共通原因で必要な分析方法が全く異なるということ ②Cが共通効果なのか共通原因なのかは、データ単独では判断できない。注目している要因間の関係性を考える（DAGを書く）

[Humisawa]

“第三因子Cを条件づけすべきかどうかは、データから判断できるものではなく、性別と治療・病気リスクの関係性を（その他の研究や、臨床現場の実態などを参考に）自分の頭で考え、DAGに表現する必要があります。”

[takurinta]

層で分解するのがかえってまずい場合のことは考えたことがなかった。データは同じなので、オカルトが「視える」人は逆に因果を見出しかねないのが怖い。

[harumanachika]

“データの結果に因果的な解釈を持ち込むことでデータが矛盾しているように感じるのが「パラドックス」が生じる原因”

[harapon1012]

わかりやすい/モデリングの話