モンテカルロ法 - Wikipedia
モンテカルロ法（モンテカルロほう、（英: Monte Carlo method、MC）とはシミュレーションや数値計算を乱数を用いて行う手法の総称。元々は、中性子が物質中を動き回る様子を探るためにスタニスワフ・ウラムが考案しジョン・フォン・ノイマンにより命名された手法。カジノで有名な国家モナコ公国の4つの地区（カルティ）の1つであるモンテカルロから名付けられた。ランダム法とも呼ばれる。 計算理論[編集] 計算理論の分野において、モンテカルロ法とは誤答する確率の上界が与えられる乱択アルゴリズム（ランダム・アルゴリズム）と定義される[1]。一例として素数判定問題におけるミラー-ラビン素数判定法がある。このアルゴリズムは与えられた数値が素数の場合は確実に Yes と答えるが、合成数の場合は非常に少ない確率ではあるが No と答えるべきところを Yes と答える場合がある。一般にモンテカルロ法は独立
データ分析をする前に、まず生データを見てみよう - 渋谷駅前で働くデータサイエンティストのブログ
先日ですが、旧知の*1Grahamianさんのこんなツイートが話題になっていました。 データ分析をするときシンプルに重要なことは「生のデータを眺める」と「データの分布をグラフにする」ことなんじゃないかと思うんですよね。すぐにクロスとかファネルとかコホートとかやりたくなるんですけど、まずは目の前のデータがどんなものか頭にマッピングさせることが長期的に効いてくる感じ。— Grahamian📊データ分析と機械学習 (@grahamian2317) 2021年1月12日 何を当たり前のことを言っているんだと眉を顰める向きもあるかもしれませんが、これだけデータサイエンスやら機械学習（人工知能）やらが喧伝されている昨今においては、少なからぬ現場で「データはどこかのAPIからバルクでダウンロードしてくるor本番DBから転送してくるだけ」「やってきたデータは中身を見もせずにそのまま統計分析や機械学習など
Pythonで実装するアヒル本「StanとRでベイズ統計モデリング」 - Qiita
アヒル本とは アヒル本「StanとRでベイズ統計モデリング」、ベイズ界隈では有名な書籍です。 ベイズ推定を実装したい、と思ったときにまず最初に手に取ると良いでしょう。 しかし、ベイズとは何かという点について解説している本ではないため、ベイズの枠組みで事例を積み重ねることで事後分布を更新できるために得られる利点などについて納得ができていない方は、ベイズ自体の基礎的な解説を読んでからチャレンジしたほうが良いと思います。 なぜPythonか 上記本のオフィシャルでは、タイトルどおり実装はRなんですね。 Pythonで実装したい方も多いと思います。 私もその一人でしたので、Python実装をつくりました。 Python実装にあたって Stanのインターフェイスについては、PyStanでRとほぼ変わらない使いごこちを実現できます。 一方で、データ整形についてはPandasを使うので、Rとはかなり異な
論文メモ：Empirical assessment of published effect sizes and power in the recent cognitive neuroscience and psychology literature (Szucs & Ioannidis, PLoS Biol, 2017) - 渋谷駅前で働くデータサイエンティストのブログ
以下のメタアナリシス論文がしばらく前に話題になっていました。 このようなメタアナリシスを紐解くことで検定力・効果量がどういうものかという理解も進むのではないかと思われますので、以前の機械学習系論文の輪読まとめと同様に全引用or全訳にならない程度にまとめてみることにします。また斜め読みに近いまとめなので、間違っているところがチラホラあるかと思います。お気付きの際はコメント欄でも何でも良いのでご指摘下されば幸いです。 アブストラクト この研究の目的は何か この論文では何を研究結果として報告しているのか メタアナリシスの対象になったのは何か どのようにしてデータを抽出したのか どのような手法でメタアナリシスを行ったのか メタアナリシスの結果はどうだったのか 著者らの考察・見解 感想と補足 アブストラクト アブストラクトだけは全訳しておきます。 We have empirically assess
セックスの経験人数で大きな格差が生まれる「セックス格差」が広まっている
これまでに性行為をした経験がないという人もいれば、複数人と性行為を経験したことがあるという人もいます。そんな「何人と肉体関係を持ったことがあるか？」について調査を実施したところ、これまで誰とも肉体関係を持ったことがない人が増えている一方で、経験人数の多い層はますます多くの人と性行為を行うようになってきていることが明らかになっています。 Sexual loneliness: A neglected public health problem? https://www.researchgate.net/publication/367325876_Sexual_loneliness_A_neglected_public_health_problem 2020年にアメリカ医師会雑誌(JAMA)に掲載された論文では、2000～2002年の3年間と、2016～2018年の3年間という2つの期間に、18
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
ぼくは「モンティ・ホール問題」がよくわからない。 - 山形浩生の「経済のトリセツ」
10月24日に、Change to Hopeというイベントがあって、スティーブン・ピンカーが来日して基調講演をする……予定だったのがコロナで来れずオンラインになってしまったんだが、ぼくがその司会役、というか質問係をおおせつかったのでした。 www.change-to-hope.com で、これは新著『人はどこまで合理的か』をベースに最近のネタを散りばめる講演で、ぼくも付け焼き刃でざっと読んでみました。基本は、人はいろいろ数学パズルみたいなものにごまかされて合理性を発揮しにくくなる部分があるのだ、という話や経済学的な合理性の話などで、あとは合理性がいかにしてこれまでの人類の発展を率いてきたか、これからも理性をちゃんと使ってがんばらないといけないよ、というもの。一般向けの講義をまとめたものだそうで、人によっては知ってる話ばかりでつまらないかもしれない。まったく知らなかった目新しい話はない。類書
「すべての数字を消す」国が指示 消しゴムで書き換えた統計データ：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 --><!--株価検索 中⑤企画-->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">
国交省、基幹統計を無断書き換え 建設受注を二重計上、法違反の恐れ：朝日新聞デジタル
建設業の受注実態を表す国の基幹統計の調査で、国土交通省が建設業者から提出された受注実績のデータを無断で書き換えていたことがわかった。回収を担う都道府県に書き換えさせるなどし、公表した統計には同じ業者の受注実績を「二重計上」したものが含まれていた。建設業の受注状況が8年前から実態より過大になっており、統計法違反に当たる恐れがある。 この統計は「建設工事受注動態統計」で、建設業者が公的機関や民間から受注した工事実績を集計したもの。2020年度は総額79兆5988億円。国内総生産（GDP）の算出に使われ、国交省の担当者は「理論上、上ぶれしていた可能性がある」としている。さらに、月例経済報告や中小企業支援などの基礎資料にもなっている。調査は、全国の業者から約1万2千社を抽出し、受注実績の報告を国交省が毎月受けて集計、公表する。 国交省によると、書き換えていたのは、業者が受注実績を毎月記し、提出する
BDAstyle ―ビジネスデータ分析ツールの作成 with Excel
Business Data Analysis & Visualization with Excel About this site Excel（エクセル）を使ったビジネスデータ分析ツールのつくりかたをメインコンテンツとするサイトです。またこのサイトは，ビジネスデータ分析のハウツーサイト「ひとりマーケティングのためのデータ分析」の補完サイトと位置づけています。 同サイトでとり上げるいくつかのツールは，物語（Story）に連動するかたちで考え方や背景といったものに触れながら手順を例示しています。それゆえ，実務などで手元のデータを使って操作手順をなぞるには，いくぶん冗長すぎる場面も出てくるかもしれません。 その点を補う意味で こちらBDAstyleは，クイックリファレンス的な色彩の強いサイトにしたいと考えています。とりわけ「ひとりマーケティングのためのデータ分析」で紹介できないツールや補足的なこ
「日本のコロナの謎」 検査不足か健闘か、欧米注視：時事ドットコム
「日本のコロナの謎」 検査不足か健闘か、欧米注視 2020年03月25日07時08分 【ベルリン時事】日本の新型コロナウイルスの感染者数が統計上は先進国中で圧倒的に少ないことをめぐり、感染が急増中の欧米のメディアは、日本は検査不足で実態が反映されていないのか、それとも感染抑止で「健闘」しているのか注視し始めた。一方、世界保健機関（ＷＨＯ）は単純に検査数で是非を判定するのには慎重な姿勢だ。 世界の死者２万人に イタリア・スペインで１万人超―新型コロナ 独誌ウィルトシャフツウォッヘ（電子版）は２１日、「日本のコロナの謎」という記事を掲載。欧州と違い多くの店舗が開いているのに、日本の感染者数は少ないと指摘。検査数の少なさへの批判と、疑いが強い例に絞り効率的に検査をしているとの両論を併記した。 米通信社ブルームバーグも、検査数の少なさを指摘しつつ、検査数が多いイタリアより致死率が低いことも紹介。握
食べログ3.8問題に終止符を打つ
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import json import glob import math from pathlib import Path from collections import Counter from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score from sklearn.metrics import confusion_matrix from sklearn.metrics import roc_auc_score from sklearn.model_selection imp
食べログ3.8問題を検証 - クイックノート
先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認知されています。 専門的なグルメリポーターでもなく、 一般の人々の素直な感想を集めることで、 その飲食店のリアルな価値が知れると期待して、 利用しているユーザーも多いでしょう。 それだけに、 「食べログが評価を恣意的に操作しているかもしれない」という話は、 瞬く間にネットで話題となりました。 さて、この話は実際に行われていることなのでしょうか。 食べログでは、当然評価点は公開されているので、 このような恣意的な操作があれば、 何らかの形で偏りが見つかるはずです。 ということで、食
調査精度粉飾事件としての毎月勤労統計問題
調査精度粉飾事件としての毎月勤労統計問題 田中 重人 <http://tsigeto.info/officej.html> (東北大学) (2024-04-09) URI: http://tsigeto.info/maikin/ 新着情報 論文: 統計コミュニティは統計不正にどう対応したか: 毎月勤労統計調査問題における政府・専門家・非専門家のはたらき (東北大学文学研究科研究年報 73:198-169) (2024-03-07) 論文: 毎月勤労統計調査の諸問題 (東北大学文学研究科研究年報 69:210-168) (2020-03-07) プレプリント公開: Monthly Labour Survey Misconduct since at Least the 1990s: Falsified Statistics in Japan (2019-03-05) オンラインメディア 『we
「毎月勤労統計調査」は90年代以前から改ざんされていた？ データ改ざんに甘い社会 - wezzy｜ウェジー
厚生労働省「毎月勤労統計調査」をめぐって、この1か月の間にさまざまな報道がなされています。特に注目を集めているのは、東京都の大規模事業所を一部抽出していたのにその統計処理を怠ったため、平均給与が低めに推計されていた問題です。一方で、この事件の別の側面として、対象事業所数や誤差率など、調査精度をあらわす数値の偽装という問題があります。この観点からみたときに何が見えてくるのか、これまでにわかっている情報から整理してみました。 1990年代以前からの調査対象削減 まず、いちばんわかりやすい問題として、調査対象の数を勝手に減らしていたことがあります。 1月17日に厚生労働省が提出した資料「毎月勤労統計において全数調査するとしていたところを一部抽出調査で行っていたことについて (追加資料)」によれば、2004年以降、毎月勤労統計調査で対象としていた事業所の数は表1のようになっていました。 これまで毎
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計的因果推論 カテゴリーの記事一覧 - 渋谷駅前で働くデータサイエンティストのブログ
よく心理戦で「相手は私の思考を読んでこうするから、それに対し私はこうする」みたいな読み合いがありますが、ずっと互いに読み合っていたら無限ループで切りが無いはずです。どこまで読むのが正解なのですか？
えるエル on Twitter: "東大が無償でPDF公開している，統計学会の75周年記念出版『21世紀の統計科学』の3冊 1と2は実際の統計データを用いて，各事例への統計学の応用手法，3は機械学習の人なら馴染み深い統計計算を解説 下手な市販の本を買うよりは，この3… https://t.co/w2cSVIxmUI"
性交渉、経験なしが25％ 日本の18～39歳男女 ｜ 共同通信
韓国18年出生率、初めて1.0割れ 世界最低水準に
