統計で母平均の信頼区間をt検定する問題の大雑把な理解の仕方 - SELECT * FROM life;
大学の統計学の授業で「母平均の95%信頼区間を求めなさい」というような問題はよく取り上げられる例題ですね。 統計は具体的な場合が想像できれば理解しやすいけど、大学の講義を受けただけではなかなか難しいものがあります。 t検定の意味が分からないという友達がいたので、自己流の解釈で説明したら予想以上に好評だったのでエントリとしてまとめておきます。 Web上にもいろいろ解説がありますが、どれも自分好みの直感的な感じじゃないです。やっぱり、こういうエントリを書く人ってのは数学的に厳密じゃないと気がすまないのでしょうか。 注意事項としては、あくまでも直感的に分かるようにやっているので本質的には間違っている可能性もある、ということです。 ちょっと長い前置き そもそも、この「母平均の95%信頼区間を求めなさい」ってのは何を言っているのか、という話をまずします。ちょっと長いので、分かっている人は飛ばしてくだ
「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿
「統計的に有意差がないため、2つのデータには差がない」──こんな結論の導き方は統計の誤用だとする声明が、科学者800人超の署名入りで英科学論文誌「Nature」に3月20日付で掲載された。調査した論文の約半数が「統計的有意性」を誤用しており、科学にとって深刻な損害をもたらしていると警鐘を鳴らす。 「統計的に有意差がない＝違いがない」は間違い 例えば、ある薬の効能を調べたいとする。統計学では一般的に「仮説検定」を行って薬を与えたグループとそうでないグループを比較し、薬効の指標となる何らかのパラメータに統計的有意差があるかどうかを見る。仮説検定は、2つの事象の差異が偶然生じたものかどうかを統計的に結論付けるものだ。 もし、統計的有意差がある（薬を与えた群のパラメータの方が有意に大きい）なら「薬には効能がある」という結論を導けるが、有意差がなかった場合はどうだろうか。 「統計的有意差がある＝薬効
統計不正はこれほどヤバい | 西日本新聞me
永田健の時代ななめ読み 「空気を読まない」を信条とするベテラン記者が、今起きている政治、社会、国際問題を「ななめに」論評します。賛同とお叱りが相半ばする人気のコラム（日曜更新） ただ「統計」というなじみの薄いジャンルであるためか、初報から政治問題化まで時間差が生じ、現在でも世論の関心はいまひとつに思える。そこで今週は「統計不正はどれほど大問題か」を、文系脳の私が例えを駆使し、分かりやすく読者に解説したいと思う。 私はひそかに「九州の池上さん」のポジションを狙っているのである。 ◇ ◇ 統計不正問題は多岐にわたるが、本丸の「毎月勤労統計」について論じる。 簡単に説明すれば、厚生労働省はこの統計の作成手法を不正に簡略化。それを途中から「完全版」に近づけるため数値の復元加工をしたところ、結果として実質賃金の伸び率がかさ上げされた。つまり実態より過大に「賃金が上がった」と公表していたのだ。
18年の実質賃金は大半でマイナス 厚労省見解 - 日本経済新聞
毎月勤労統計の不適切調査問題を巡り、厚生労働省は30日の野党合同ヒアリングで、18年1～11月の実質賃金の伸び率が大半でマイナスになるとの野党の試算について「同じような数字が出る」との見解を示した。この試算は1年前も調査対象となった事業所と比べた参考値。厚労省は名目賃金の参考値は公表したが、実質賃金
人口、労働、賃金、社会保障などについての統計データをどう調べればよいか？｜野口悠紀雄
◆人口 ・人口の長期時系列データ 人口というのは最も基本的な統計データだが、検索エンジンで「人口」と検索しても、どこを見たらよいか分からないだろう。 e-Statには人口の統計があるらしいと分かるが、長期の人口統計がどこにあるか、分からない。探し出しても、いくつかの期間に分かれていて、使いにくい。 私が探した限りでは、『日本統計年鑑』にあるこのデータ集が最も使いやすい。ただし、昔は長期に連続した表だったが、いまでは1920年で２つの表に分かれてしまっていて、やや使いにくくなった。 ・人口統計資料集 国立社会保障・人口問題研究所による統計資料集。 江戸時代の人口や世界の人口についての資料も、「Ⅰ．人口および人口増加」率の中にある。 ・将来人口推計 https://www.ipss.go.jp/pp-zenkoku/j/zenkoku2023/db_zenkoku2023/db_r5_suik
1ヶ月で統計学入門したので「良かった本」と「学んだこと」のまとめ - ぴよぴよ.py
前回の「ゲームプログラマからデータサイエンティストに転職しました」 の記事でもお話したとおり、5月からデータ解析する人になりました。 とはいえ、データ解析に関しては未経験。 少しでも不安を減らすために、4月の有給消化期間は統計学のお勉強しました。 今回はおすすめしてもらった中で読んで良かった本の紹介、そして読んだ本の簡単なまとめを書いて行きたいと思います。 ※前提: 4月時点の自分の知識に関して 自分は大学は情報科学を専攻していたが、難しい数式は苦手 統計学は1コマ分受講していたが、単語を覚えている程度でかなりあやうい まず一番最初に読みたい本 「完全独習 統計学入門」 「簡単に統計学の全体像がつかめる入門書はないか」とTwitterで相談したら、こちらの本を数名の方が薦めて下さった。 完全独習 統計学入門 作者: 小島寛之出版社/メーカー: ダイヤモンド社発売日: 2006/09/28メ
データから真実を見抜くために抑えたい『因果推論』の基本 - ゆとりずむ
こんにちは、らくからちゃです。 原価コンサルタント見習として、コスト・マネジメントのお手伝いをさせて頂いております。売上が増えても、製品を作るのに高い材料が必要だったり、工程が複雑で人件費が掛かるようだと利益には繋がりませんよね？そこで製品ごとに製造コストを計算して『いくらなら利益が出るのか？』『いま一番儲かっている製品はどれか？』といったことを分かりやすくお伝えするシステムの導入を支援させて頂いております。 お客様に『このコストは、この実績に連動して増減するから、これを基準に按分して...』なんてヒアリングをしながら設定作業を進めていくのですが、本当にその考え方で良いのかなあなんて思うことはよくあります。そんなモヤモヤした気持ちを抱えながら本屋さんに行った所、なかなか面白い本を発見いたしました。 「原因と結果」の経済学―――データから真実を見抜く思考法[Kindle版] posted w
【基本】平均値・中央値・最頻値はどう使い分ける？ | なかけんの数学ノート
主なデータの代表値に、平均値、中央値、最頻値の3つがあります。どれも、データ全体の特徴を表すものですが、どうして代表値が3つもあるのでしょうか。「1個なら覚えるのも楽なのに！」と言いたい人もいるでしょう。また、結局どれを使えばいいのかわからないという人もいるかもしれません。 ここではそういった疑問について考えていきます。3つの代表値のメリット・デメリットや、使い分けについて考えていきます。 各代表値の得意・不得意 代表値とは、データ全体の特徴を表した値のことです。平均値は、「すべての数値を足して、数値の個数で割ったもの」、中央値は、「数値を小さい方から並べたときに、真ん中に来るもの」、最頻値は、「一番個数が多いもの」です。どれも「データを特徴づける値」ですが、それぞれの代表値には、得意・不得意があります。 データが次のようにきれいな左右対称の山の形に分布していた場合は、平均値も中央値も最頻
平均値 vs 中央値
作者のページ ときどき所得などのデータを平均値（算術平均）のみで示している記事があります。しかし極端な外れ値があったり、著しく非対称だったりするデータは中央値で扱わないと実態がよく分からなくなってしまう場合があります。「平均所得600万円！」に騙されないように「平均値」と「中央値」の違いを実感しましょう。 追記１：以下の分布はLog-normalを仮定しているため必ず 中央値<平均値 です。そうじゃない分布も当然存在します。 追記２：このページの趣旨は「平均値だけ見ても実態がよく分からんこともあるので元の分布や他の統計量も気にしようね」ってことなので一々「最頻値も見なきゃ駄目だ」とかメールしてこなくていいです。 使い方：スライダをグリグリ動かして、それぞれの代表値を持つ分布の例を見てみよう。
三浦俊彦のページ：『心理パラドクス』採用問題集
このページには、採用パラドクスの中からいくつか選んで掲載します。オリジナル問題、よりも、哲学・論理学・数学・社会科学・自然科学の由緒正しい問題から採ってきたものが大半ですが、原典をアレンジしたり、解答・解説の方にひねりを加えたりと、私独自の工夫を凝らしています。 出典文献はここには挙げませんが本には記してあります。 解答・解説は、『心理パラドクス』をごらんになってください。 正解問題の傾向から運勢占いができるコーナーも、『心理パラドクス』巻末にあります。 （注）▼以下の問題文は、本そのものの文章とは細部に若干の違いがあります。 ００６★心の会計簿 １１２３ peninsula puzzle まず、次の２つのストーリーを読み比べてください。 Ａ：コンサートの前売り券を１万円で購入した。当日、会場最寄の駅で、チケットを紛失したことに気づいた。当日券（前売り券
ネコは、御存知のとおり、着地がうまい。 しかし、半端でなく高いところか..
ネコは、御存知のとおり、着地がうまい。 しかし、半端でなく高いところから落ちたネコはどうなるだろう？ 1984年の５ヶ月間に、ニューヨーク市の高層マンションからネコが落ちた事故のうち、何階から落ちたかという獣医師の記録があるのは129匹である（２階～32階）。 うち、死亡は８匹だったが、驚くべきことに、階が高いほど生存率も高いという事実が判明した。 ７階以上から落ちたネコ22匹のうち死んだのは１匹だけ。９階以上から落ちた13匹はすべて生き延び、しかも骨折は１匹だけだった。 なぜ高階層から落ちたネコのほうが生存率が高いのか？ 獣医師の説明によると、ネコは、落ちると「終端速度」（それ以上速くならない最高落下速度）にすみやかに達する。 それは時速60マイルで、人間の大人の終端速度の半分。この終端速度に達するまでは、ネコは脚を突っ張って抵抗するので、着地したとき怪我をしやすい。 しかし終端速度に達
なぜ開票率1％で当確が出るのか？
著者プロフィール：葛西伸一（かさい・しんいち） 大学卒業後、大手エレクトロニクス商社に勤務。その後、IT業界、映像コンテンツ業界と15年間の営業・企画・マネージャー等の経験を経て、 2007年4月に(株)メンター・クラフト設立。豪州ボンド大学大学院MBA（経営学修士）エグゼクティブ・コーチ(JIPCC認定）、日本コーチ協会正会員 12月16日に行われた衆議院総選挙。選挙当日は各局が選挙特番を組み、選挙速報一色でした。 私が子どものころは選挙の時期になると、大好きなアニメ番組やドラマが放送延期となり、どの番組も選挙特番で本当に退屈だった記憶が鮮明によみがえってきます。 そんな中、野球中継なら面白いだろうとチャンネルを回してみると（当時はチャンネルをガチャガチャ回すタイプだったので）、画面のサイドと下に各党の当確議席数が表示されていたのですが、子どものころには、その数字が一体何を意味するのかす
「闇雲にPDCAサイクルを高速に回す」と場合によっては過学習して逆に怖いかもというお話 - 渋谷駅前で働くデータサイエンティストのブログ
3年前にこんな話を書いたわけですが、皆さんご記憶でしょうか。 この当時は「平均への回帰」という言葉にその不毛さを託したわけですが、前回の記事に着想を得てもう少し今時っぽく論じることが出来るんじゃないかと思ったので、ちょっと書いてみようかと思います。 なお、言うまでもありませんが以下に示す例は完全に単なるシミュレーションであり、特定の事例を意味するものではありません*1。過去にデータ分析業界の内部で見聞された数々の事例の最大公約数的な部分をベンチマークとしてまとめたものとご理解下されば幸いです。またシミュレーション自体も特に数理的な厳密さを期したものではありませんので、そこもご了承あれ*2。 ビジネスの現場でよくある光景 一般に「PDCAサイクルをとにかく速く回す」のがビジネスを成功させる近道だと言われるわけです。そこで、こんなケースを考えてみます。設定としては、何かしらのeCommerce
「ヤフコメ」と「はてブコメント」の違い。テキストマイニングより見えてきたもの - プリキュアの数字ブログ
（プリキュアにあんまり関係ない記事です。興味ない方はスルーして下さい。） 先日（4/13）、当ブログを紹介していただいた朝日新聞withnews様の記事が、（数時間ですが）ヤフーのトップに掲載されました。 娘がプリキュアに追いついた日… 父のブログに涙する人が続出 当たり前の日常の中にある愛情、著者に聞く （withnews） - Yahoo!ニュース さすがにヤフーのトップ、記事中に直接リンクが貼ってあったわけではありませんが、多大な反響があり、その1日だけで「イワオ～キン骨マンの超人強度」くらいにはＰＶを頂きました。 はてなブックマーク、ツイッター含め、沢山のコメントを頂きまして、本当にありがとうございました。 すべてのコメントを読まさせていただきました。 その全てが、ありがたく、身に染みるものでした。 で、今回「ヤフーのトップニュースに載る」ことにより、 「自分のブログ記事の内容が”
そのデータ分析待って！まずはわくわくする統計学本から数字のセンスを身につける。
Amazonアソシエイト ここ2-3年、統計学や機械学習の本が劇的に増えたと思います。2014, 2015のガートナーのハイプサイクルからもわかると思いますが、ビックデータや機械学習などのデータ分析に関する事柄などは過渡期を少し過ぎたあたりになります。過渡期に執筆が増え今まさに販売されてきているといったところでしょうか。 そこで今回はいきなりデータ分析に取り組む前に、まずはわくわくするところから数字のセンスを身につけよう、ということでいくつかおすすめとなる統計学本を紹介させていただきます。そして、最後にビジネス×統計学やデータサイエンティスト入門のための本も一覧として載せています。 うーん、カイザー・ファングさんの本、ナンバーセンスは表紙から刺激的ですね。 THE 鉄板！まずは、西内啓さんから。説明不要な気がしますが、今年話題になったのはJリーグのアドバイザー契約になりますね。西内啓さんを
【統計学】初めての「標準偏差」（統計学に挫折しないために） - Qiita
統計をこれから学ぼうという方にとって、非常に重要な概念ですが理解が難しいものに「標準偏差」があると思います。「平均」くらいまでは馴染みもあるし、「わかるわかるー」という感じと思いますが、突如現れる「標準偏差」 の壁。結構、この辺りで、「数学無理だー」って打ちのめされた方もいるのではないでしょうか。 先にグラフのイメージを掲載すると、下記の赤い線の長さが「標準偏差」です。なぜこの長さが標準偏差なのか、ということも解き明かしていきます。 (code is here) 本記事では数学が得意でない方にもわかるように１から標準偏差とはなにか、を説明してみようという記事です。 数式はわかるけど、イマイチ「標準偏差」の意味わからんという方にも直感的な理解がしてもらえるような説明もしていきますので、ぜひご覧ください。 （※ この記事では標準偏差の分母に $n$を使用しています。$n-1$を使用するケースも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アップルのクレジットカードが「性差別」か 米当局が調査 - BBCニュース
「現在の生活に満足」と過去最高の74.7％が答えた内閣府世論調査、なぜか回答者の8割も「持ち家あり」だった | Buzzap！
Site is undergoing maintenance