元日銀マンが斬る 厚労省の統計不正、真の“闇”
厚生労働省の「毎月勤労統計」が火を噴いた。文字通りの炎上である。炎上は意見が対立する側が火に油を注ぐことで大きくなるケースが多いが、厚労省の毎月勤労統計の不正をかばうものはいないだろう。誰の目に見ても明らかな不正である。 毎月勤労統計とは、賃金の動向等を調査し、景気の分析や労働保険の給付金等の算定に用いられるもの。本来、東京都の常用労働者数500人以上の事業所を全て調査すべきところを、2004年からサンプル調査で手抜きしていたことが発覚した。 18年末から報道されていたが、今年に入り、根本匠厚生労働相が問題を認め、雇用保険などで過少給付があったと発表されると、のべ1973万人という対象人数、約567億円という過少給付額のインパクトもあり、普段、聞き慣れない毎月勤労統計という統計を巡る不正が一気に社会問題化した。 毎月勤労統計が公表する数値について、最初に疑問を投げ掛けたのは、地方紙である西
統計所得、過大に上昇 政府の手法変更が影響 補正調整されず…専門家からは批判も（西日本新聞） - Yahoo!ニュース
政府の所得関連統計の作成手法が今年に入って見直され、統計上の所得が高めに出ていることが西日本新聞の取材で分かった。調査対象となる事業所群を新たな手法で入れ替えるなどした結果、従業員に支払われる現金給与総額の前年比増加率が大きすぎる状態が続いている。補正調整もされていない。景気の重要な判断材料となる統計の誤差は、デフレ脱却を目指す安倍政権の景気判断の甘さにつながる恐れがある。専門家からは批判が出ており、統計の妥当性が問われそうだ。 高めになっているのは、最も代表的な賃金関連統計として知られる「毎月勤労統計調査」。厚生労働省が全国約3万3千の事業所から賃金や労働時間などのデータを得てまとめている。1月に新たな作成手法を採用し、調査対象の半数弱を入れ替えるなどした。 その結果、今年に入っての「現金給与総額」の前年比増加率は1月1・2％▽2月1・0％▽3月2・0％▽4月0・6％▽5月2・1％▽6月
統計学の教科書から起業マニュアルまで、すごい「無料」コンテンツ集めました - グローバル経営の極北
ネットには「無料」で貴重な情報がたくさんある。統計学の教科書から、戦略コンサルによる「変革」の指南書まで、様々なコンテンツをまとめてみた。 OpenIntoro - 統計学の教科書 436ページの統計学の教科書が無償ダウンロード(PDF)可能。Openintroという米大学の教員などが「オープンソース」の試みとしてまとめた仕事で素晴らしい。編者の一人のミシガン大の教員によるCourseraの講座もある。 PDFファイルはこちら BCG - 「企業変革」の手引き 戦略コンサルのBCGによる「変革」の指南書。167ページのPDFが無償でダウンロード可能で、Kindleファイルも提供されています。かなり包括的に整理されており非常に参考になります。トップコンサルファームのこういった資料も無料で提供されるというのは本当にいい時代です。 PDFファイルはこちら Kindleファイルはこちら SaaS
統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
「本が売れないのは図書館が本を貸すからだ」問題の立証をできる範囲でやる - 図書館学徒未満
「本が売れないのは図書館が本をタダで貸すからだ」という主張がある。その反論も、先行する実証研究もいくつかあるけれど、いまいちこの主張の真偽を決定するには至らない。 図書館貸出冊数が書籍販売金額に与える影響の計量分析の一考察 「本が売れぬのは図書館のせい」というニュースを見たのでデータを確かめてみました - CNET Japan どうして多くのひとが関心を持っているにも関わらず、この小学生が思いついたみたいな問題がちゃんと解決されないかというと、分解してみたら意外とややこしいからだ。 まず 「本が売れないのは図書館が本を貸すからだ」 が真だとしたら、その対偶である 「図書館が本を貸さなければ本は売れる」 も真となる。多分、この主張をするひとたちが言いたいのはこっちだ。 (すみません確かに対偶じゃありませんでした。ややこしいので削除します。ご指摘ありがとうございました) この問題を検証するには
いい結婚相手を見つける最適な方法を検証してみた - Qiita
現在の日本の生涯未婚率によると、男性の4人に1人、女性の7人に1人は50歳まで一度も結婚したことがなく、そうした人たちの割合は今後も増えていくそうです（出典: ハフィントンポスト）。原因は様々あるようですが、やはり「適当な相手にめぐり合わない」という理由は上位に来るようです。 ですが、適当な相手とは、一体全体どういう相手なのでしょうか？ 年収、容姿、性格、家、などなど人によって様々相手に求める条件があるものですが、「人の出会いは一期一会」ともいうように、いい相手とめぐり合えたとしても「もしかしたら今後もっといい人と会えるかも……」などとうじうじしているうちに、機会を逃すことも多いかもしれません（涙 この問題は、結婚相手を探しているA君がいるとすると、 A君は、これから結婚相手の候補となるN人と女性と出会う 候補となる相手は、１人ずつ次々に現れる 候補となる相手は、それぞれ違うスコアを持つ
1ヶ月で統計学入門したので「良かった本」と「学んだこと」のまとめ - ぴよぴよ.py
前回の「ゲームプログラマからデータサイエンティストに転職しました」 の記事でもお話したとおり、5月からデータ解析する人になりました。 とはいえ、データ解析に関しては未経験。 少しでも不安を減らすために、4月の有給消化期間は統計学のお勉強しました。 今回はおすすめしてもらった中で読んで良かった本の紹介、そして読んだ本の簡単なまとめを書いて行きたいと思います。 ※前提: 4月時点の自分の知識に関して 自分は大学は情報科学を専攻していたが、難しい数式は苦手 統計学は1コマ分受講していたが、単語を覚えている程度でかなりあやうい まず一番最初に読みたい本 「完全独習 統計学入門」 「簡単に統計学の全体像がつかめる入門書はないか」とTwitterで相談したら、こちらの本を数名の方が薦めて下さった。 完全独習 統計学入門 作者: 小島寛之出版社/メーカー: ダイヤモンド社発売日: 2006/09/28メ
出現確率1％のガチャを100回引いても，4割近くの人は全部はずれる。“本当の確率”を読み解いてみよう
出現確率1％のガチャを100回引いても，4割近くの人は全部はずれる。“本当の確率”を読み解いてみよう ライター：宮里圭介 まったく確率表示をしていなかったり，レア度別の確率のみ表示したりと，タイトルによって対応はさまざまだ スマートフォン向けゲームに欠かせない存在となっている「ガチャ」。お目当てのキャラやアイテムを引き当てたときの嬉しさは格別だし，結構な額のリアルマネーを使ったあげく，ハズレばかりだったときの悔しさもまたかなりのものだ。 すべては運にかかっているので，プレイヤーが頼りにできるデータといえば，公開されている出現確率ぐらいだろう。以前はその確率が公開されていないゲームが多かったが，最近は業界として確率表示を進める動きが強まっており，人気タイトルの「グランブルーファンタジー」でも，本日（2016年3月10日）から装備品個別の出現確率が表記されるようになる。 だが，確率が明らかにな
ガチャを回す時の当選率のわかりやすい表と解説が話題に！「注意事項に貼るべき」「出るまで回せば１００％！」
シュネーヴァイス @5chneewei55 発端となった人は15万円（750連ガチャ）で消費者庁駆け込もうかと考えたそうですが、750回で0.1％当てられる確率はちょうど五分五分（当たり引ける率52％）。何万くらい突っ込めば当たるつもりでガチャ回してるのかは気になります。 2017-05-09 14:02:05 シュネーヴァイス @5chneewei55 ソシャゲをゲームだから庶民の娯楽と思ってるんじゃないでしょか。ああいうガチャゲーは爆死も笑いにできるお金持ちのためのギャンブルなの。超高級スポーツカーには庶民が乗れないって文句つけないでしょ。我々庶民は大人しくマンガ読んでアニメ見てプレステと3DSとパソコンゲームで遊びましょう。 2017-05-09 15:53:55
Pythonで統計学を学ぶメリットは？勉強の手順も解説
Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に
競馬の解析をガチでやったら回収率が100%を超えた件 - stockedge.jpの技術メモ
記事のタイトル通り、競馬で回収率100%を超える方法を見つけたので、その報告をする。 ちなみに、この記事では核心部分はぼかして書いてあるため、読み進めたとしても「競馬で回収率100%を超える方法」が具体的に何なのかを知ることはできない。（私は本当に有効な手法を何もメリットが無いのに公開するほどお人好しではないので） 本当に有効な手法を見つけたいのであれば、あなた自身がデータと向き合う以外の道は無い。 ただし、大まかな仕組み（あと多少のヒントも）だけは書いておくので、もしあなたが独力でデータ解析を行おうという気概のある人物なのであれば、この記事はあなたの助けとなるだろう。 ちなみに、これは前回の記事の続きなので、読んでない方はこちらからどうぞ。 stockedge.hatenablog.com オッズの歪みを探す さて、前回からの続きである。 前回の記事のブコメで「回収率を上げたいならオッズ
実務で使う統計手法は、５つ。すごい、そんなシンプル？
このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は５つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている５つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析（k-meansなど） の５つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの５つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学
食べログの口コミに見る人間心理 ―麻薬と性とトラウマと― · Naoki Orii's blog
フランスの希代の美食家であるブリア・サヴァランは「ふだん何を食べているのか言ってごらんなさい、そしてあなたがどんな人だか言ってみせましょう」といったそうだ。これは、「ドン・キホーテ」の有名な一文「君の友人を教えなさい、そうすれば君がどういう人間か言ってみせよう」をもじったものであるが、示唆に富んだ文である。その人が何を食べるか（もっと正確に言えば、何を食べないか）によって、その人の育ちや信仰、文化的・民族的背景など様々なことを知ることが出来る。 同様に、口コミもそれを書いた人について多くを物語る。ここで試しに、以下に挙げた食べログの口コミを読んで頂きたい。 バラのクリームにたっぷりのフランボワーズをマカロンとともに。ルバーブのアクセント。コレめっちゃカワイイ（*^_^*） 一目ぼれです☆ バラにフランボワーズにマカロンにピンクときたら、女子にはたまらない～！ ちょっと高めの価格設定やけど、
『ダメな統計学』冊子PDFの公開｜Colorless Green Ideas
『ダメな統計学』表紙 現在の科学研究において統計が誤用されていることが非常に多く、そのために科学研究の信頼性が揺らいでいることを記した『ダメな統計学』の冊子PDFを公開する。これは、アレックス・ラインハート氏が書いたStatistics Done Wrongの全訳である。理解を深めるために、訳注を比較的豊富に加えた。 2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』の冊子PDFに比べると、大幅に加筆されている。ページ数で言うと2倍以上になっている。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 『ダメな統計学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
政府統計、信頼に揺らぎ GDPなど日銀が不信感 :日本経済新聞
http://harold-spm.com/rgenngo-contents/
言語処理100本ノック 2015