いかにしてデータは人を騙すのか
テレビ、新聞、ネット、世の中にはたくさんの情報が氾濫していますが、そのほとんどが偏ったデータであると考えるべきです。情報を取捨選択するには、まずは疑ってかかることが重要です。 たとえば、テレビ番組などでよくある「渋谷で100人に聴きました」なんてツッコミどころが満載です。そもそも、100人という分母が少なすぎますし、渋谷が日本全体の縮図とは限らないのです。渋谷と秋葉原で恋愛に関する質問をした時、同じ結果が得られるでしょうか？やってみなきゃ分りませんが。 このように、世の中には偏った情報が溢れかえっています。今回は、統計などのデータを利用した印象操作について書いていこうと思います。 グラフを使った印象操作 ある情報をグラフで提示する時、グラフの描き方一つで全く異なる印象を与えることができます。下のグラフを見て下さい。 縦軸を０から描いたグラフです。このグラフですと、売上の伸びがイマイチな印象
海の向こうでも日本でも「データサイエンティスト」は雌伏の時 - 渋谷駅前で働くデータサイエンティストのブログ
なかなか刺激的な翻訳記事が出ていたようで。ちなみに本家版の原典記事はこちら。 大体こういう話をするとよく炎上するんですが（笑）、前々からデータサイエンティスト（カナ）の需給状況とかについては延々とこのブログでも論じてきているので、便乗して日本での国内事情に関する与太話でも書こうかと思います*1。 そもそも日本国内に「データサイエンティスト」と呼ばれるにふさわしい人材自体がほとんどいない (from Wikimedia Commons) いつも色々な人に「そもそもデータサイエンティストって日本にどれくらいいるんですか？」とよく聞かれるんですが、これについては最近業界内の友人知人と話す機会が何度かあり、「おそらく首都圏に100人程度」「残りの地域は不明だがごく少数」というのが概ねコンセンサスの得られている数字だと思います*2。 これは実際に上記記事で挙げたような要件を満たし、なおかつデータ分析
2014年春版：ビジネスにおけるデータ分析のプロを目指すなら揃えておくべき12冊 - 渋谷駅前で働くデータサイエンティストのブログ
さて、前回リストの記事から半年ぐらい経ちましたよーということで、それ以降に発刊された書籍などを吟味した上で更新したリストをお届けしたいと思います。といっても引き続き今回のリストにも入っているものが多いので変わり映えしないかもですが。。。 前回同様、統計学や機械学習にまつわる学術的な知識を得るだけにとどまらず、ビジネスにおけるデータ分析のプロとして知っておきたい知識を得るために必要な書籍もリストに入れてあります。 確率論まわりの基礎理論についての書籍は僕自身が勉強途中なので割愛しました*1。またコーディングまわりの本は一旦割愛してあります。というか僕はエンジニアとは言い難い身なので（泣）、コーディングまわりや詳細な実装プロセスなどは適宜必要な本を読んで下さいということで。。。 そして改めての断り書きですが、これは「ある程度既に統計学や機械学習などに馴染みがあってそれなりにPythonでコード
「首つり自殺数」と「アメリカの科学・宇宙・テクノロジーに関する支出」など無関係のデータ同士で相関性をむりやり発見する「Spurious Correlations」 - GIGAZINE
ほんのわずかな初期の要因の変化が最終的に思いがけないほど差のある結果を招く現象を「バタフライ効果」と呼びますが、そんな現象は身近なところでも起こっているのかもしれないと思わせるような、一見すると関係のない2つのデータに相関性を見いだすプロジェクトが「Spurious Correlations」です。 Spurious Correlations http://www.tylervigen.com/ 1999年～2009年までの「アメリカの科学・宇宙・テクノロジーに関する支出」と「首つり自殺数」の上昇傾向が一致。 「水泳プールでの溺死数」と「ニコラス・ケイジの映画出演数」が、なぜか似たような傾向で上下しています。つまり、ニコラス・ケイジが映画に出演しなければプールでの事故が激減するのかもしれません。 「アメリカ人1人あたりのチーズ消費量」と「ベッドシーツに絡まって死亡する数」がほぼ一致。 「ア
少しの手間で説得力アップ！意外と使える官公庁の統計データ利用法 : LINE Corporation ディレクターブログ
こんにちは、ウェブサービス本部の鳴海です。 突然ですが、あなたが24歳男性だったとすると、同い年の年男は日本全国で何人いるでしょう？ また36歳男性には、同じく年男の同級生は何人いるでしょうか？ 答えは、24歳男性が64万人、36歳男性が87万人。実は、世代間で20万人以上の差があります。また、今年の年男・年女世代の中で、最も人口の少ない12歳女性（57万人）と最も人口の多い48歳男性（89万人）では1.5倍以上の開きがあります。最近、身の回りに小学生の女の子よりも中年男性の方が多いなと思っていましたが、気のせいではなかったようです。 同級生の人口なんて普段意識することはないですが、仕事をする上ではたまに大事だったりします。いま自分が手がけているサービスのターゲットはどの層で、人口で言えばどのくらいの規模なのか、前後の世代に比べてどのような傾向があるのかなどは感覚的に掴めているといいですね
【ちょい保存版】ヒートマップ分析、H&Mの水着広告の男女差など9選 | PRFREAK
広告は本当のところ見られたのか、そしてドコに注目が集まったのか、知る必要があります。 ヒートマップとアイ・トラッキングの技術が向上した結果、人々の視線の行方を正確に知ることができるようになりました。広告会社には不都合な真実かもしれませんが、Business Insiderの「16 Heatmaps That Reveal Exactly Where People Look」という記事を厳選して紹介します。 1. H&Mの水着広告 男性は水着姿の女性モデルを凝視します。一方、女性はモデル周辺の広告メッセージにも視線を十分に配ります。 2. 美女のヌードと靴 男性は全然、靴に興味を示していません。靴しか身につけてないのに・・・ 3. 視線で誘導 女性モデルの視線が商品に向いてると、読者の視線も商品へ誘導されます。 4. バナーブラインドネス サイト閲覧者は当然、記事を読みますし、バナー広告をほ
一年で身に付ける！Rと統計学・機械学習の4ステップ - データサイエンティスト上がりのDX参謀・起業家
久しぶりの投稿です。この一年間、Rの勉強会などに参加したり主催したりしてきて、後輩や勉強会の方々の話をいろいろ聞くとこができました。そんな中、一年間でRと統計学・機械学習を身に付けれるようなフローを作れるかも？と思ったので、ここで記録しておきます。統計学や機械学習は理論を勉強するだけでなく、Rで実際に解析してみることで、より理解が深まります。 ステップ1. 分布・検定 理論 統計学入門 (基礎統計学?) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (79件) を見る R本 Rによるやさしい統計学 作者: 山田剛史,杉澤武俊,村井潤一郎出版社/メーカー: オーム社発売日: 2008/01/25メディア: 単行本購入: 64人 クリック: 782回この商品を含
「サッカーにおいてデータは役に立つのか？」問題 - pal-9999のサッカーレポート
(１／１７追記。すいません、計算間違いがあったので、書き直しを行ってます。それに伴って、数値も書き直しています。大変申し訳ありません。) というわけで、本日の更新でございます。今回は、ちょいと、データをいじってみようと思いまして、いくつかのサイトから、サッカーのデータと引っ張ってきて、色々と調べました。 データ元ですが、 ひかりＴＶ Ｊリーグ サッカーデータランキング Ｊリーグ公式サイト：試合記録 からです。残念な事に、詳細なデータは、2008年のものと2009年のものになりますので、そのあたりはご容赦を。 サッカーとデータ革命 なんですが、最初に、記事のご紹介から。 http://データ革命が、欧州サッカーを「マネーボール化」する（その１） – from 『WIRED』VOL.2 データ革命が、欧州サッカーを「マネーボール化」する（その２） – from 『WIRED』VOL.2 データ
少年犯罪データベース
○初めて来た方は、このあたりからご覧ください。 13歳以下の犯罪 異常犯罪 親殺し統計グラフ ○更新履歴と管理人による注釈は、こちらのブログをご覧ください。 少年犯罪データベースドア ○幼女レイプや児童虐待、小学生殺人が昔と比べて凄い勢いで減っているのが判ります。 子どもの犯罪被害 データーベース 文責は管理人の管賀江留郎にあります。 何か問題があれば消しますのでメールください。 このサイトのデータはできるだけ広めたいと思っておりますので、無断で自由に使用してください。 ただし、新聞記事などの引用は、法律上の引用の範囲で各自の責任のもとに使用してください。 返信がめんどうなので、いちいちデータ使用の許可を求めないでください。間違いの指摘は歓迎します。 いまのところのデータ完成度は50%で、日々更新しています。抜けている事件があれば教えてください。
大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
資料屋のブログ - 出生数と中絶数をだらだら並べてみたり。そしたら少妊娠化が見えてきた
出典 「でき婚」出生数及び人口 2004年までは厚生労働省「平成17年人口動態特殊報告」。なお、でき婚出生数は「平均的な結婚週数の場合」の数値である。 2005年以降…人口は総務省統計局「平成17年国勢調査」、及び同局「人口推計」、でき婚出生数は厚生労働省「平成22年度「出生に関する統計」の概況 人口動態特殊報告」によった。 20代母出生数 厚生労働省「人口動態統計」 20代の中絶率と20代女子人口当たりのでき婚出生率、20代の母親から産まれた子の数に対するでき婚出生率をグラフにすると次のようである。なお、中絶率と人口当たりのでき婚出生率は千分率、子の数に対するでき婚出生率は百分率である。それぞれ単位が違うのでグラフをご覧の際はよく注意していただきたい。 出生に占める「でき婚」の割合の増加ほどには人口当たりの「でき婚」の割合は増えていない。でき婚が増えたのではなく出生が減ったのだ。〔201
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
