政府の保有データを公開するサイトが一部、開店休業の状態になっている。誰もが簡単に使える「オープンデータ」のはずなのに、2割以上のデータにアクセスできない部分がある。欧米ではデータを活用した成果が目立ち始めた。出遅れる日本にはデジタル社会の土台を機能させるための意識改革が欠かせない。「リクエストされたページは見つかりません」。政府のサイトで作業を進めるとこんなメッセージが現れた。サイトは政府が
政府オープンデータ「開店休業」 2割にアクセス不備 チャートは語る - 日本経済新聞
政府の保有データを公開するサイトが一部、開店休業の状態になっている。誰もが簡単に使える「オープンデータ」のはずなのに、2割以上のデータにアクセスできない部分がある。欧米ではデータを活用した成果が目立ち始めた。出遅れる日本にはデジタル社会の土台を機能させるための意識改革が欠かせない。「リクエストされたページは見つかりません」。政府のサイトで作業を進めるとこんなメッセージが現れた。サイトは政府が
測れない数値を測る
政党支持率を探る世論調査は、何を食べたいかを客に尋ねる食堂の店主に似ている。売り上げならば前日の伝票を見ればわかる。知りたいのは明日の注文だ。聞かれた方も「いつもの」と即答できる人もいれば、同じメニューを毎日にらむ人もいる。明日の注文、つまり、次の選挙の得票率はどのように予測すればよいのだろうか。 報道機関が世論調査で調べている政党支持率は、無作為に選んだ有権者に「支持している政党はどれですか」と尋ねた結果をそのまま集計したものだ。当人の望むと望まざるに関わらず、すべての有権者を同じ確率で選ぶといういささか乱暴な手法を使っているのは、その方法でしか偏り（バイアス）のないデータが得られないからだ。その新聞の購読者やテレビ局の視聴者でない人をも巻き込む性質から、調査結果は公開されている。 政党支持率は、選挙の予測得票率ではない。自民党の支持率は選挙で一度もとったことがない高い水準を維持している
実はフェイクでありながらも、未だに多くの人が真実だと信じている写真はありますか？
回答 (5件中の1件目) アベ政治をゆるさないという看板をもったおじさんの横に昭恵さんがいるやつですね。しかも昭恵さんもその写真をアップしていて、わけがわかりません。 まあ、画像はいいですね、有名なので。
Data Science by R and Python
はじめに ほんと、久々の更新になってしまいました。。。 いまだに月間で1000PVほど見られているようでとてもありがたく思いますm(_ _)m 最近も変わらず因果推論の研究を中心に行っておりますが、それ関連の内容はまた機会をみてblogで書いていければと思っています。 また先日、twitterで公開したこちらのスライドもたくさんの方に見ていただけまして、コメントも頂けたりして、とても嬉しく、励みになっています。 speakerdeck.com また、少しずつではありますが更新いたしますので、たまに覗いていただければ嬉しいです。 では、本題にまいります。 今回の更新 とはいっても、今日の更新は、大した内容ではなく、pythonでstepwise regressionの関数で自分がほしいものがないので、つくりましたという内容です。 Stepwise Regressionについて 特に、回帰モデ
Are University Admissions Biased? | Simpson's Paradox Part 2 - YouTube
Simpson's Paradox Part 2. Thanks to Skillshare for supporting this video! Head to http://skl.sh/minutephysics for your first two months free. Comments disabled because the discourse failed to remain civil. This video is about how to tell whether or not university admissions are biased using statistics: aka, it's about Simpson's Paradox again! REFERENCES: Original Berkeley Grad Admissions Paper
Python Data Science Handbook | Python Data Science Handbook
This website contains the full text of the Python Data Science Handbook by Jake VanderPlas; the content is available on GitHub in the form of Jupyter notebooks. The text is released under the CC-BY-NC-ND license, and code is released under the MIT license. If you find this content useful, please consider supporting the work by buying the book!
藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定 - Qiita
藤井四段の連勝が止まらないですね。 21日の対局に勝利して、連勝記録を１位タイの28連勝まで伸ばしてきました。26日の対局で勝利すれば単独トップになります。 そんな藤井四段の対戦成績は28勝0負。勝率でいうと1.000です。クラクラするような成績ですが、この「勝率」とは何かを少し数学的にみてみましょう。 単純に言葉だけをみると「藤井四段が勝利する確率」ではないかと考えられます。つまり $$P(\text{勝利}\ |\ \text{藤井四段}) = 1.0$$かのように感じます。 ではここで、26日の対局で藤井四段が勝利する確率はどれだけでしょう？ $P(\text{勝利}\ |\ \text{藤井四段}) = 1.0$として考えると、これはつまり藤井四段は必ず勝つので、100%になってしまいます。しかし、もちろんそんなことはありません。藤井四段ですらも負けることはあるはずです。 実はここ
Spurious Correlations
correlation is not causation random · discover · next page → don't miss spurious scholar, where each of these is an academic paper View details about correlation #5,898 Pigging Out: The Swine Connection between Pork Spending and Lululemon Stock Price Show GenAI's made-up explanation As pork consumption rose, so did the demand for stretchy pants with forgiving waistbands, leading to higher profits
大数の法則と独立試行は矛盾します！ 例えば、次のようなロボットがあると仮定します。…
大数の法則と独立試行は矛盾します！ 例えば、次のようなロボットがあると仮定します。 １．10秒に一回、コインを投げる(独立試行) ２．表が出たら停止する。裏なら１に戻る ある日、あるとき、このロボットのスタートボタンを押しました。 このロボットは確実にいつかは停止すると言えるでしょうか？ 「停止する」とすると：独立試行に矛盾 (試行回数をどんなに大きくしても全て裏となる確率が必ず残る) 「停止しない」とすると：大数の法則に矛盾 (大数の法則によって表と裏のバランスがとられ、いつかは表が出る) この説を論破してください。 参考：http://q.hatena.ne.jp/1290036774
正規分布の意味するところを教えてください。…
正規分布の意味するところを教えてください。どんな式であるかはわかりますが、 ・なぜこれが重要な確率分布とよくいわれるのか ・実際にどのような事象がこれに従うのか （これは一様分布だけどこれは正規分布、といった具体例が示されると助かります） について教えてください。
Google グループ
Google グループでは、オンライン フォーラムやメール ベースのグループを作成したり、こうしたフォーラムやグループに参加したりすることで、大勢のユーザーと情報の共有やディスカッションを行うことができます。
【艦これ】空母レシピについてかなり細かく分析してみた 他工廠データまとめ : 艦これ速報 艦隊これくしょんまとめ
2013年10月05日13:00 カテゴリ攻略 【艦これ】空母レシピについてかなり細かく分析してみた 他工廠データまとめ 138: 名無しさん＠お腹いっぱい。 2013/10/04(金) 22:04:52.57 ID:gVMKkkjE メンテ中時間あったから空母レシピについてちょっと分析してみたんだけど、需要あったらどうぞ データベースさっき見たらリセットされたみたいだからよかったよ いろいろ雑だと思うけど、何か指摘とかあったらよろしく 219: 名無しさん＠お腹いっぱい。 2013/10/04(金) 22:08:50.52 ID:5L49DH/E >>138 300 300 600 600で22％も正規空母出るわけねーだろ信用できるか！！！ wiki報告とかクソや 空母レシピでゴミ駆逐艦出て誰が報告するんだよ 656: 名無しさん＠お腹いっぱい。 2013/10/04(金) 22:31:
因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ
どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には
小標本問題と t検定 - ほくそ笑む
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
温度とは何か：負の絶対温度をめぐる疑問など - Active Galactic : 11次元と自然科学と拷問的日常
ひと月ほど前に流れた「負の絶対温度」のニュースに関して、興味をそそった反応をリストアップしておこう。 最初に、「永久機関が実現する！！！」みたいな反応は >/dev/null ２番目に、「負の温度がわからん」と言っている人がいる。ただ、このうち何パーセントが「正の温度」の定義を説明できるだろう。 ３番目に、物理クラスターの一部だが、永久機関の実現といった誤解を打ち消すために、「レーザーの反転分布と同じ（笑）」などと、この研究の新奇性や研究グループ自体を過小評価する方々がいる。 この研究グループは、光格子を操ることにかけては世界最強クラスの実績がある。光格子における超流動Mott絶縁体転移や、量子気体顕微鏡による光格子１サイト内の原子観測といった、数々の偉業を達成している。また、多数の理論屋が在籍しており、理論面の基礎でミスを犯す可能性は低いだろう。既存体系を覆すような大発見ではないとはいえ
研究者の多くはエラーバーの意味をろくに理解していない - 音風景ブログ
研究者の多くはエラーバーの意味をろくに理解していない 今日、私は認知科学日記の読者がエラーバーをどれだけ理解しているかを問うオンライン投票を開始した――エラーバーとはよくグラフに乗っている、あの小さなI字型の、統計学の賜物である。正しく理解していないだろうということは、大体予想済みである。なぜそんなに自信があるかって? それは2005年、サラ・ベリア(Sarah Belia)らのチームが、最前線の心理学、神経科学、医学ジャーナルに論文を掲載したことがある数百人の研究者を対象に行った研究成果があるからである。彼らのうちエラーバーと有意さの関係について正しい知識を示したのはほんの一握りであった。論文を掲載した研究者たちができないなら、どうしてカジュアルなブログの読者ができることを前提としてよいだろうか? 信頼区間 まずそもそも、問題の解決法を知るため、少々の説明が必要である。信頼区間というコン
生還した戦闘機が教えてくれること ～ 選択バイアスの罠 - Feel Like A Fallinstar
久しくご無沙汰しておりました。 書くネタ自体は山ほどあるんですが、本業が凄い勢いで動いているのでそっちに集中していましたです。 さて、たまには分析チックなお話を。統計でガチガチの石頭になってしまわないように、常に僕が気をつけていることの1つが「選択バイアスの罠」です。 生還した戦闘機、しなかった戦闘機 あ、ちなみに、いまきは別に統計や分析の（アカデミックな意味での）専門家ではないので、そのあたりはご容赦を（汗 時に1940年ごろ。 世界は第二次世界大戦の真っ只中です。 統計学者のエイブラハム・ワルドという方が戦闘機の脆弱性について調査していたそうです。 帰還した戦闘機の大量のデータが彼の元に届きます。 「入手したデータどれもが、戦闘機のある部分の被弾頻度が他の部分よりも過度に多いことを示していた。」 さて、ここからどういう結論を導けばいいのでしょうか？ （ちょっと立ち止まって考えてから読ん
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://tomoshige.hatenablog/
Randomly Generating Numbers with an Arbitrary Distribution
NIST Technical Note 1297