世論調査のマジック「内閣支持率が1ポイント上がった」は間違い | 3分でわかる政治の基礎知識 | 毎日新聞「政治プレミア」
「操作」などない 新聞社の実施する世論調査については以前から根強く「都合のいいように操作されている」という言説があります。 それなりに高額の費用と人手をかけて実施している世論調査を「操作」すれば、費用と仕事がすべて無駄になります。そんなことはありえません。 万能ではない そのうえで世論調査には多くの誤解があります。「操作されている」と信頼性を疑う意見の裏返しで、逆に万能だと思われている部分もあります。 あらゆる調査と同様、世論調査にも一定の限界があります。よく話題になる内閣支持率も調査方法や選択肢と離れて数字だけを見るべきではありません。たとえば、実施する報道機関が違えば選択肢や聞き方が異なるため、単純に数字だけで比較することはできません。 毎日新聞が定例で実施している全国電話世論調査では内閣支持率の選択肢は「支持する」「支持しない」「関心がない」の三つです。10月26、27日に実施した結
データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary
(2019/10/12追記 データ解析のプログラムもGitHubで公開しました) (2019/10/15追記 会員の見分け方に誤りがありました。本文中では"非会員"と"有料会員"に分けると述べていますが、正確には"非会員・無料会員"と"有料会員"に分かれています。以後の図・文章は脳内で変換していただけると幸いです。詳細は https://anond.hatelabo.jp/20191011180237 で他の方が調べてくださっています) はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗
日本の産業分類別年収/労働時間ヒートマップ - A Successful Failure
2016年06月07日 日本の産業分類別年収/労働時間ヒートマップ Tweet 厚生労働省は毎年産業分類別に賃金や労働時間の調査を行っている。10名以上の従業員を抱える5万余の民間事業所に対する調査をまとめたものであり、最新の調査結果は今年2月に公表された平成27年賃金構造基本統計調査だ。 そこで同調査にもとづき、産業分類別の年収、月間労働時間をヒートマップにしてみた。男性・女性の降順にソートしたバージョンも用意しているのでそちらも見て欲しい。サムネイルをみるだけで、男女に厳然とした差があることが一目瞭然だ。 産業分類別年収テーブル（男性ソート版・女性ソート版） 産業分類別月間労働時間テーブル（男性ソート版・女性ソート版） 産業別明細票 さらに産業分類ごとに調査結果を確認できる検索フォームも用意した。上部のプルダウンメニューを選択することで、所望の産業の給与/労働時間テーブルを参照すること
豚さんはTwitterを使っています: "ポーランドの高校卒業試験（合格最低点は30%以上）の成績分布と、イギリスの救急車（到着目標は8分以内）の到着時間分布。もう少し上手くやれよ。 http://t.
ポーランドの高校卒業試験（合格最低点は30%以上）の成績分布と、イギリスの救急車（到着目標は8分以内）の到着時間分布。もう少し上手くやれよ。 pic.twitter.com/ajnSB8fnjN
「普通の女と結婚したい」の「普通」が普通ではない件について。 - 貧乏人は麦を食え。年収200万円時代を生きる方法。-bobcoffeeの麦食指南
普通の女と結婚したい http://anond.hatelabo.jp/20150608235529 片親じゃなくて、親と仲が特別悪くなくて、大学を出ていて、おかしな経済感覚を持ってなくて、おかしな恋愛をしてきてなくて、簡単な料理と当たり前の掃除洗濯ができる女 高望みかのようにフルボッコにされるから不思議だ まずそれぞれの要素を書き出してみましょう。 1 片親ではない。 2 親との仲が悪くない。 3 大学を卒業している。 4 おかしな経済感覚ではない。 5 おかしな恋愛をしていない。 6 簡単な料理が出来る。 7 当たり前の掃除と洗濯ができる。 それぞれの要素と割合について 1）片親ではない。 片親世帯の全世帯に対する割合は1.63％ 父子・母子家庭数 [ 2010年第一位 沖縄県 ]｜新・都道府県別統計とランキングで見る県民性 [とどラン] http://todo-ran.com/t/k
マイナーだけど最強の統計的検定 Brunner-Munzel 検定 - ほくそ笑む
対応のない 2 群間の量的検定手法として、最も有名なのは Student の t 検定でしょうか。 以前、Student の t 検定についての記事を書きました。 小標本問題と t検定 - ほくそ笑む しかし、Student の t 検定は、等分散性を仮定しているため、不等分散の状況にも対応できるように、Welch の t 検定を使うのがセオリーとなっています。 ただし、これら 2つの検定は分布の正規性を仮定しているため、正規性が仮定できない状況では、Mann-Whitney の U検定というものが広く使われています。 Mann-Whitney の U検定は、正規性を仮定しないノンパラメトリック検定として有名ですが、不等分散の状況でうまく検定できないという問題があることはあまり知られていません。 今日は、これらの問題をすべて解決した、正規性も等分散性も仮定しない最強の検定、Brunner-
なぜリスク分析のプロは仮説検定を使わないのか（ややマニア向け） - Take a Risk：林岳彦の研究メモ
お久しぶりです。林岳彦です。もうすぐ『愛なき世界』の日、いわゆる（マイブラッディ）バレンタインデーですね。何かと雑音が多いこの世界ですが、いつでも自分の足元を見つめて行きましょう。 さて。 今回は、以下の： そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 銀座で働くデータサイエンティストのブログ 統計学的検定に対するある拒絶反応: ニュースの社会科学的な裏側 A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT のあたりの皆様の良記事に触発されて「仮説検定」について何か書いてみようと思いました。で、書こうと思えば色々な側面から書ける気もするのですが、今回はちょっと斜めからのアプローチとして、「リスク分析の人の頭のなかで仮説検定はこんな感じに見えている」というところを書いていきたいと思います。 ここで、ひ
増加する精神科医、減る外科・産婦人科・内科医（不破雷蔵） - エキスパート - Yahoo!ニュース
過疎化が進むに連れ、過疎地域における医師不足が社会問題としてスポットライトを当てられるようになった。また少子化の原因の一つに、産婦人科医・病院の減少によって、出産場所の確保が困難である現状を指摘する人も少なくない。それでは日本の医師数はどれほどで、どのような変化を遂げているのだろうか。今回は医療インフラを支えるさまざまな要素(救急車による搬送システム、病院施設、医師)のうち、医師数の動向について、厚生労働省の公開資料を基に現状の確認を行うことにする。 元データとして用いたのは厚生労働省の「医師・歯科医師・薬剤師調査」。これは2年おきに行われている調査で、現時点では2012年分のものが最新の値。この直近値において、「主たる診療科」で答えてもらった場合の医師数は次の通りとなる。 ↑ 医療施設従事医師数(主たる診療科名)(2012年)圧倒的な内科の多さ、整形外科の意外な多さが見て取れる。また、外
pooneilの脳科学論文コメント: Exploratory and confirmatory data analysisの問題
■ Exploratory and confirmatory data analysisの問題 2012/9/25-26 Exploratory and confirmatory data analysisの問題について。p-valueを使うような統計というのは本当はconfirmatory statisticsだから、予備実験でeffect sizeを推定した上で、実験計画をして、effect sizeから検出力を決めた上でnを決めてやる。だけど実験科学者がやっているのはexploratoryの段階で止まっている。だから、べつの研究者による追試が実質上のconfirmatory data analysisの役割を果たしている。だから、以前話題になった“Too good to be true”みたいなことが起こる。 心理物理なり動物心理なりではべつの研究者によって追試が行われるけれども、認
なぜベイズ統計はリスク分析に向いているのか？－その哲学上および実用上の理由－
1. 2010.6.17国環研生物系若手セミナー＊ブログup用改変版＊ なぜベイズ統計は リスク分析に向いているのか？ ∼その哲学上および実用上の理由∼ (ver 2.0) 林岳彦 国立環境研究所環境リスク研究センター hayashi.takehiko@nies.go.jp
産総研：ビッグデータから新たな科学的発見をもたらす統計手法を開発
ビッグデータからの科学的発見のためには、正確な検定値（Ｐ値）の算出が必要。 超高速アルゴリズムを用いた新たな統計検定手法を開発し、発見力を大幅に改善した。 物理学、医学、化学など全ての実験科学において世界中での広い利用が期待される。 ＪＳＴ 課題達成型基礎研究の一環として、産業技術総合研究所 生命情報工学研究センターの津田 宏治 主任研究員（ＪＳＴ ＥＲＡＴＯ「湊離散構造処理系プロジェクト」グループリーダー）、東京工業大学 大学院情報理工学研究科 計算工学専攻の瀬々 潤 准教授、理化学研究所 統合生命医科学研究センターの岡田 眞里子 チームリーダーらは、従来に比べて格段に高い精度で誤発見の確率を示す検定値（Ｐ値）を計算するアルゴリズム（手順）を開発しました。 自然科学で得られるデータ量は増加の一途をたどり、これらを有効に解析できる方法が望まれています。しかし、従来の統計検定手法は観測できる
「タバコを吸うと肺がんになる」論のからくりを明かす | 日刊SPA!
国内で禁煙運動が始まった’90年頃の男性について見ると、喫煙者の数は約3000万人。一方、肺がん死の数は5万人にも満たない。喫煙者のうちの肺がん死率は0.1％程度なのです。 長期的な喫煙と肺がんの関係性を示すには本来、喫煙者全体で見なければいけません。しかし、タバコ有害論者たちは、0.1％の肺がん死した喫煙者にばかり注目し、肺がん死していない大半の喫煙者は無視しています。 また、現在の喫煙者率は20％程度ですが、肺がん死の割合は7～8％。つまり約8万人へと増加しています。さらに女性については、喫煙率が10％台と大きく変動していないのに、肺がんはここ40年で5倍に増えています。 つまり、喫煙が肺がんの原因だとはいえないのです。喫煙によって肺がんになることを証明したデータは存在しません。逆に、喫煙者のほうが非喫煙者より自殺者が少ないというデータや、喫煙者のほうが風邪をひきにくいという統計データ
イレッサ訴訟 - aggren0xの日記
※4月4日注記 本文中事実関係に齟齬があったみたいです。コメント欄参照下さい。ゴメンナサイ。 ようやく終わりかけているようです。 http://headlines.yahoo.co.jp/hl?a=20130402-00000077-mai-soci 副作用としての間質性肺炎に罹患された患者様のご健康をお祈りし、また亡くなられた患者様におかれましてはまことにお悔やみ申し上げます。 以前も書いた*1ことがありますが、この件について、今後このような新薬副作用の大発生を起こさないようにするための私の考える提言をまた挙げたいと思います。一個追加したけど。この日記も以前より多少は注目が上がっているかもしれないし。 厚労省に承認申請をするような薬剤については、国内外での臨床試験の事前登録（http://www.umin.ac.jp/ctr/index-j.htm）を義務付けすべき。 ただ、海外のよく知
統計の教科書を公開 - 【小波の京女日記】(2013-03-12)
_ 統計の教科書を公開 2013年度の学部の講義「統計学」で使用するための教科書を公開します． http://ruby.kyoto-wu.ac.jp/~konami/Text/ このテキストは，今年度まである出版社から出してもらっていたのですが，かなりの訂正と加筆を行い，元の本からはかなり内容が離れてきてしまいました．また出版社も，売れ行きがぜんぜん悪いし，カリキュラムが変わって100人以上いた受講者が30人程度に激減して儲けのタネにならなくなり，書店から引き上げてしまったようです． そこで，思い切って改訂版はネットに公開して一般の人に自由に使ってもらい，学生が授業で使う分については，小部数印刷の業者に必要なぶんだけ印刷製本してもらうことにしました．なんと2日で製本までやってくれるということで，初回の授業で注文をとってから印刷すれば，次の講義では使えるわけです．便利な世の中です． どんな教
小標本問題と t検定 - ほくそ笑む
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
近代的グラフの発明者ウィリアム・プレイフェア｜Colorless Green Ideas
棒グラフ・線グラフ・円グラフという3種の近代的グラフを発明したウィリアム・プレイフェアという人物の伝記。何とも波瀾万丈な人生。 はじめに プレイフェアの3種のグラフ 棒グラフ、（折れ）線グラフ、円グラフ。現在、普通の社会生活を送っていて、これら3種類のグラフに触れない日はないだろう。新聞やニュース雑誌を開けば、きっとこれらのグラフのどれか1つが載っている。 実は、この3種類のグラフは、ある特定の個人によって発明されたものである。この人物とは、ウィリアム・プレイフェア(William Playfair, 1759-1823) である。彼はスコットランド人で、啓蒙の時代から産業革命の時代にかけて、技師をやったり、銀細工師になったり、経済学の研究をしたり、事業に失敗したり、フランス革命に参加したりしていた。要するに取るに足らない「冒険家」であった。しかし、この冒険家が、近代的グラフを発明するとい
Excel上でRを動かすRExcel - もうカツ丼でいいよな
最近Office Professionalを買ったので，近頃はもっぱらOfficeで遊んでいる．Officeはちょっとバグとか多くて難しいから，よく勉強をして早く初心者を脱出したい． で，ここ2〜3日はExcelからRを呼ぶ方法をいろいろ調べていた．やっぱVBAちょっとくらい勉強しないと駄目かなとか思い始めた頃，RExcelというExcelのアドインを見つけた(statconn)．これを使うと結構実用的なレベルでExcelとRを連携させられそう*1． RExcelのインストール まず，rscproxyとrcomの2つのパッケージをRから入れておく．下の二行はRExcelのインストール時にやれっていわれたからやった*2． install.packages("rscproxy") install.packages("rcom") library(rcom) comRegisterRegistr
できちゃった婚の背景 - これは駄目だ。
以前、『若者の間で激増している「できちゃった婚」』という記事に[┃┃¨╋┓]タグを付けて放置していたのですが、今日、「社会実情データ実録」さんの「都道府県別のできちゃった婚比率」のデータを見て、せっかくなので検証してみました。 じつに理由もなく直感的なのですが、経済的な側面が高いと思われるので、まずはできちゃった婚比率のデータと県民所得を付きあわせてみました。 R2=0.544とまずまずです。 他にそれらしいものとして、失業率とあわせてみると、 いまいちです。 もうちょっとばっちりくるデータはないものかと漁って見ると、厚労省に学歴別、男女別の初任給のデータがあったので、とりあえず大卒女子あたりで見ると、 やっぱり、いまいちです。 しかし、ここで高卒女子の初任給でプロットすると、 おおお！ドンピシャです。特に異常値ぽかった沖縄（右端の点）が綺麗に載っているのは驚きです。 ちなみに高卒男子のプ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
君が出した有意差に意味はあるのか
KuboWeb (KUBO Takuya)