統計的消去で擬似相関を見抜こう！ - ほくそ笑む
今日は初心者向け記事です。 はじめに ある範囲の年齢の小学生32人を無作為に選び、算数のテストを受けてもらい、さらにその身長を測定しました。 身長に対する算数の点数のグラフは次のようになりました。 なんと、身長の高い子供の方が、算数の点数が高いという結果になりました！ 身長が算数の能力に関係しているなんて、すごい発見です！ しかしながら、結論から言うと、この結果は間違っています。 なぜなら、抽出したのは「ある範囲の年齢の小学生」であり、年齢の高い子も低い子も含まれているからです。 年齢が高いほど算数能力は高くなり、年齢が高いほど身長も高くなることは容易に推測できます。 この関係を図で表すと次のようになります。 つまり、年齢と算数能力に相関があり、年齢と身長にも相関があるため、身長と算数能力にも見かけ上の相関が見えているのです。 このような相関を擬似相関と言います。 統計解析では、このような
データ ＆ アナリティクス | アクセンチュア
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
立教大学 社会情報教育研究センター - Home
統計検定とは 「統計検定」とは、統計に関する知識や活用力を評価する全国統一試験です。 データに基づいて客観的に判断し、科学的に問題を解決する能力は、仕事や研究をするための21世紀型スキルとして国際社会で広く認められています。 立教大学では、学生が学内で受験できるよう団体受験制度を2011年から導入しています。また、CSIでは統計検定受験に向けて、統計検定受験対策セミナーの実施および動画コンテンツの配信、その他受験に必要な情報を発信しています。 統計検定の基本情報について詳しくは、統計検定ホームページをご参照ください。 2017年度統計検定のご案内（立教生向け） 統計教育連携ネットワーク(JINSE) とは、日本統計学会公式認定の「統計検定」を利用した統計の学習達成度評価の仕組を提供するネットワークで、立教大学も参加しています。 「JINSE版統計検定」を利用
実務で使う統計手法は、５つ。すごい、そんなシンプル？
このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は５つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている５つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析（k-meansなど） の５つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの５つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学
500マイル以上離れた場所にメールが送れないのだが
http://web.mit.edu/jemorris/humor/500-miles From: Trey Harris <trey@sage.org> 今から私が書く話は、起こりようのない問題についてだ。この話を広く一般に公開してしまうのは惜しい。というのも、いい酒の話のネタになるからだ。この物語は、退屈な詳細や問題を隠すために、多少事実を変えていて、物語を面白く脚色している。 数年前、私はキャンパスのメールシステムを保守する仕事をしていて、統計学部の学部長から電話を受けた。 「大学の外にメールを送るのに不具合が発生しているのだが」 「どんな問題でしょう？」と私はたずねた。 「500マイル以上メールを送れないのだよ」と学部長は説明した。 私はラテを吹き出した。「何だって？」 「ここから500マイル以上離れた場所にメールを送信できないのだよ」と学部長は繰り返した。「実際は、もう少しあるの
科学における「ダメな統計学」を説明した本｜Colorless Green Ideas
科学において統計がいかに正しく使われていないかを説明した本 Statistics Done Wrong: The Woefully Complete Guide について紹介する。 科学の世界の「ダメな統計学」 現代の科学は、統計と切っても切り離せない関係にある。多くの場合、科学者は、仮説を立てた上で、実験や調査でデータを集め、そのデータに対して統計処理を行うことで、自分の仮説が妥当かどうかを判断していく。統計がなくては自分の仮説が妥当かどうかを判断できない。判断できなければ、科学者は自分の主張を一切述べられなくなってしまう。つまり、統計を使わなければ、科学者は仕事にならないのである。統計は科学者にとって重要なのだ。 統計が重要なのだから、科学者は統計についてしっかりとした知識を持っていると思う人も少なくないだろう。また、ほとんどの科学者が正確に統計処理を行っていると思う人も少なくないだろ
食べログの口コミに見る人間心理 ―麻薬と性とトラウマと― · Naoki Orii's blog
フランスの希代の美食家であるブリア・サヴァランは「ふだん何を食べているのか言ってごらんなさい、そしてあなたがどんな人だか言ってみせましょう」といったそうだ。これは、「ドン・キホーテ」の有名な一文「君の友人を教えなさい、そうすれば君がどういう人間か言ってみせよう」をもじったものであるが、示唆に富んだ文である。その人が何を食べるか（もっと正確に言えば、何を食べないか）によって、その人の育ちや信仰、文化的・民族的背景など様々なことを知ることが出来る。 同様に、口コミもそれを書いた人について多くを物語る。ここで試しに、以下に挙げた食べログの口コミを読んで頂きたい。 バラのクリームにたっぷりのフランボワーズをマカロンとともに。ルバーブのアクセント。コレめっちゃカワイイ（*^_^*） 一目ぼれです☆ バラにフランボワーズにマカロンにピンクときたら、女子にはたまらない～！ ちょっと高めの価格設定やけど、
Rでt検定 1
t検定の仮定 本来，t検定には，さまざまな仮定が伴うものである。 各群の標本が，いずれも正規母集団から得られたものであること（正規性） 各群の母分散が等しいこと（等分散性） したがって，t検定の実施に先立って，これらの仮定が成り立つかどうかを判断しなければならない。 そのために，正規性と等分散性について，それぞれ異なる検定を行う必要がある。 正規性の検定 2群のデータの分布が，正規分布に従うかどうかを検定する。 この目的には，Kolmogorov-Smirnov（コロモゴロフ・スミノフ）検定がよく用いられる。 Rでは，この頭文字をとって ks.test() という名前の関数が用意されている。 この検定の帰無仮説は「あるデータが，正規分布をなす」である。 したがって，P値が大きければ，正規分布であると判断できる。 > ks.test(x$A,"pnorm",mean=mean(x$A),sd
マイナーだけど最強の統計的検定 Brunner-Munzel 検定 - ほくそ笑む
対応のない 2 群間の量的検定手法として、最も有名なのは Student の t 検定でしょうか。 以前、Student の t 検定についての記事を書きました。 小標本問題と t検定 - ほくそ笑む しかし、Student の t 検定は、等分散性を仮定しているため、不等分散の状況にも対応できるように、Welch の t 検定を使うのがセオリーとなっています。 ただし、これら 2つの検定は分布の正規性を仮定しているため、正規性が仮定できない状況では、Mann-Whitney の U検定というものが広く使われています。 Mann-Whitney の U検定は、正規性を仮定しないノンパラメトリック検定として有名ですが、不等分散の状況でうまく検定できないという問題があることはあまり知られていません。 今日は、これらの問題をすべて解決した、正規性も等分散性も仮定しない最強の検定、Brunner-
政府統計ポータル（e-Stat）と R でサンタさんの12月の出費動向を調べてみた - akiyoko blog
この投稿は 「R Advent Calendar 2014 - Qiita」 の 25日目の記事です。 Me y Christmas!! ということで今日は、クリスマスですね。 昨晩は、全国のサンタさんが大活躍したのではないでしょうか。 そこで今回は、全国のサンタさんの12月の出費動向を調べてみたい と思います。 なお、初級者向けの記事ですので、中上級者の方は読み飛ばしてくださいませ。 手順 手順は、ざっくり e-Stat（政府統計ポータル）から家計調査の CSV をダウンロード R で CSVデータを読み込む データを加工してグラフを描画 という感じで進めます。 環境 Windows 7 RGui [R Console] (R version 3.1.2) 1. e-Stat から家計調査のCSVデータをダウンロード 1.1. 目的の統計表を選択 e-Stat（政府統計ポータル） にアク
myrmecoleonの「グラフで見るニコニコ動画」
ニコ動データ分析クラスタの巨人・myrmecoleon氏が、みんな知ってるようで知らないニコニコ動画の現在をグラフで紹介！ 2015年03月26日 18時00分 トピックス ネコ・イヌ・インコ・ハムスター・ハリネズミ……さまざまな動物が見られます 第45回 AVと言えばアニマルビデオ～動物動画の世界 今回はみんな大好きな動物タグの動画を調べてみました。 2015年03月12日 18時00分 ゲーム・ホビー pixivでは三日月宗近と加州清光が人気、ニコ動では織田＆伊達の愛刀が舞い踊る！ 第44回 女性提督が審神者に？ ニコ動・pixivを席巻する刀剣乱舞人気の現状を調べてみた 今回は1月のサービス開始より大人気の「刀剣乱舞」を調査してみました。 2015年02月26日 18時00分 トピックス ボカロ・東方・艦これと女性人気と 第43回 第14回MMD杯と多様化するMikuMikuDanc
10年を超えた東方人気をニコ動とpixivのデータで確認！ (1/3)
この連載では、独自に収集したデータを使って、みんな知ってるようで知らないニコニコ動画の現在を紹介していきます。今回はひさびさに「東方Project」を調査してみました。連載一覧はこちら。 明治大学米沢嘉博記念図書館スタッフでニコニコ学会β幹事。趣味で同人誌やニコニコ動画関連の研究をしてる人。記事に使ったデータ元の『ニコニコ統計データハンドブック2014』など同人誌をコミケで頒布。ブロマガでは連載記事の補足も。 Twitterアカウントは@myrmecoleon。関わった近著に『進化するアカデミア 「ユーザー参加型研究」が連れてくる未来』（イースト・プレス刊）。右の画像は筆者を擬人化？して描いてもらったキャラ「ありらいおん子」。男の娘。 ■Amazon.co.jpで購入 アレンジ曲からTRPGまで 多様な作品が広がるニコニコ動画の「東方」カテゴリ 「東方Project」（通称「東方」）は同人
データ量が膨大でも大丈夫！基本統計量で「全体」を10秒で把握する – マーケティングメトリックス研究所/MARKETING METRICS Lab.
まずは、あるECサイトがリスティング広告を出稿した結果を見比べて下さい。 掛かったコストも、クリックも、獲得したCV件数も全く一緒で、計上された売上のみ異なります。どちらのキャンペーンが結果は良かったかと問われると、間違いなく「Y」になります。 では、どちらに「改善の施し様」があるでしょう。 「G」でしょうか？ いいえ、残念ながら、これだけでは解りません。キャンペーンは、無数にあるキーワードと広告で構成されています。この数字は、全てを合算したに過ぎません。 キーワードと広告単位で、CV件数を獲得していないもの、CPAが高いもの、CPCが高いもの等に分類する必要があるでしょう。 しかし、その洗い出しにどれくらいの時間を要するでしょうか。Excel形式で出力した後、全体の数字を見て、何がボトルネックか把握して、何度もエクセルをソートして……。 ずんの飯尾和樹のように現実逃避して、平日の昼間から
ウェブ視聴率で読み解くネット企業の評価 | 大和総研
インターネットはすっかり社会に根付いた。ヤフー、楽天、アマゾンに始まって価格.com、ぐるなび、クックパッド等々、生活のあらゆる分野で、ネット企業が提供するネットサービスが浸透している。また携帯電話・スマートフォン等の分野では各種のアプリ（ゲーム等）の提供者が、ユーザーの空き時間にサービスを利用してもらおうとしのぎを削っている。経済産業省の特定サービス産業調査によると2011年度の「ネット付随サービス業」全体の売上高は1.1兆円となった。なお前年度は9,806億円であり、着実に伸びている。 一方総務省「情報通信白書」によると2012年3月末の時点で世界の時価総額上位500社の中に日本のネット企業（次頁注を参照）は1社（ヤフー（日））しかない。その理由としては、日本企業はGoogleのように、世界市場で成功する例が少ないことが挙げられるが、そもそも資本市場は日本のネット企業の実態を正しく評価
さまざまな確率分布 probability distributions - 数理的思考 - 中川雅央 【知と情報の科学】
さまざまな確率分布 probability distributions - 数理的思考 - 中川雅央 【知と情報の科学】 ■ さまざまな確率分布 (probability distributions) 観測される現象は，確率的に変動するものが多いと考えられます．その観測されたデータを説明する統計モデルに，どの確率分布を使えばうまく説明できるでしょうか． 正規分布や二項分布など，確率分布の種類は数多く，いろいろなカタチ（分布形）があります．確率分布の当てはめを考えるには，そのカタチ（分布形）を知ることが重要です．各確率分布の母数（パラメータ）によってそのカタチ（分布形）が決まります．確率変数には離散型と連続型があり，その範囲もさまざまです． このページは，代表的な確率分布について，それらを比較・検討しやすいように母数（パラメータ）やグラフ等を一覧表にまとめたものです． 1. 離散型確率分
統計学Ⅰ：データ分析の基礎
（2015/4/14追記） 本講座（第1期）は2015年1月をもって受付を終了しました。 現在、第2期（2015年5月12日開講）の受講登録を受け付けております。こちらのページをご参照ください。 この講座には「通常コース（無料）」「反転学習コース（有料）」の2種類のコースがあります。 反転学習コース（有料）では、12/20に東京・大阪・福岡の3会場で開催しますので、いずれかを選択してお申込みください。※内容はすべて同一です。 また、この講座にはビジネスとしての活用方法を習得するための反転型研修「マーケティングにおけるビジネス・アナリティクス」もご用意しています。（提供：NTTデータユニバーシティ社）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NHK for School
総務省｜報道資料｜API機能で利用できる統計データの拡充
統計科学・機械学習の講義
人口ピラミッド