None of the Above
17 July 2023 by Richard None of the Above Yeah p-values suck. But replacing them with another metric is no solution. The problem lies deeper. I am not a fan of p-values and null hypothesis significance testing (NHST). I do not use them, and I hardly ever talk about them. Statisticians have written about the inadequacy of NHST for cumulative science many times (see here, and here), but seemingly wi
『「数理科学を使えば統計の”主義”を争う必要ない」という主張について検討する』
・はじめに 統計学の歴史では、頻度主義とベイズ主義という異なる立場の方法が存在し、違いに論争を繰り広げてきました。しかし、近年の統計学者の中には「現代の統計学は数理的な方法に基づいているから、主義の争いは解決した」と考える人もいるようです（この立場のことを、この記事では便宜的に「統計数理による主義不要論」と呼ぶことにします）。この記事では、「統計数理による主義不要論」に対して私なりの反論を考えてみることにします。論点は、以下の3つです。 1. 「“数理的な方法”を使っても、主義の争いが解決しない」ということを示唆する事実が存在する 2. 頻度主義とベイズ主義の論争を「どちらの方法が正しいか」という争いとして捉えると論争の全体像を見誤る 3. WAICに代表される現代ベイズ法の意義は、「数理によって主義の争いを解決した」のではなく「仮にあなたが頻度主義的な価値観を重視
まえがき: 渡辺澄夫ベイズ理論の素晴らしさを多くの方に伝えたい | 機械学習の数理100問シリーズ
渡辺澄夫先生と初めてお会いしたのは、私が産総研の麻生英樹先生が主催していた研究会に呼ばれて、90分程度のセミナーで話をしたときでした。大阪大学に(専任)講師として着任した1994年の初夏で、ベイジアンネットワークの構造学習に関する内容だったと思います。そのときに、2-3分に1回くらい、終わってみると全部で20-30回くらい私に質問をされた方がいました。その方が渡辺先生でした。 渡辺先生が、「学習理論の代数幾何的方法」というタイトルで、IBIS（情報論的学習理論ワークショップ）という機械学習の研究会で講演されたのは、それから5年ほど後のことでした。私自身も当時、代数曲線暗号や平面曲線に関する論文も書いていて(J. Silverman氏との共著論文は、100件以上引用されている)、ベイズ統計学と代数幾何学はともに自信がありました。しかし、渡辺先生のIBISの話は、オリジナリティに富みすぎていて
Recent Advances in Algebraic Geometry and Bayesian Statistics
This article is a review of theoretical advances in the research field of algebraic geometry and Bayesian statistics in the last two decades. Many statistical models and learning machines which contain hierarchical structures or latent variables are called nonidentifiable, because the map from a parameter to a statistical model is not one-to-one. In nonidentifiable models, both the likelihood func
独身男性の平均資産額が急に「500万円」も増えた理由｜玉坂
統計やっている人からするとなんら特別な話でもないのかもしれませんが。知人がこんなことを言っていたんですよね。 ワシントン州の独身男性の平均資産が急に500万円ほど増えたと。 なぜだかピンときますかね。 ・コロナの影響 ・お金持ちの独身男性が一気にワシントン州に増えた ・独身男性の定義が変わった ・急激なインフレによる報酬の増加 他にもあるかもしれませんが、抽象度の大小あれど色々原因の仮説は浮かびます。 が、 上記はどれもはずれです。 正解は何だと思います？ 答え：ビルゲイツが離婚したから ビルゲイツの資産額はググった数字ですが、14兆円とのことです。 離婚したので、その数字が平均値を一気に押し上げたと。 一つの突出した数値がある場合、平均値を見るだけでは状況を把握しづらいって良い例です。こういう場合は中央値を見る必要があると。 中学、高校の先生なんかが嬉々として引用しそうなエピソードですね
ベイズ統計学の逆温度パラメータ - カイヤン雑記帳
おはようございますまたはこんにちはまたはこんばんは，カイヤンです． 就活エントリーが有名な方に捕捉されたりものすごくバズったりと過分な評価をいただいており，とても驚いているこの頃です． 私や私のドクトリンが評価されているのではなく，記事から就活最前線の様子を推測しやすいからこれだけ評価をいただいているに過ぎないと肝に銘じて思い上がらぬよう過ごしたいです *1． さて，今回はPeingに届いた質問に関して短く書いてみようと思います． ベイズ推定における逆温度パラメータって具体的に何を制御しているものですか？（最尤法とのつながりなどでよく出てきま | Peing -質問箱- という質問をいただきました． 質問箱では簡単に答えていますが，もう少し語らせてください． 筆者質問箱の回答 「対数尤度＋正則化項」という損失を考えると結局正則化の効果度（逆温度が大きいほど弱い正則化，無限大への極限で最尤法
Bayes Rules! An Introduction to Applied Bayesian Modeling
Bayes Rules! An Introduction to Applied Bayesian Modeling Alicia A. Johnson, Miles Q. Ott, Mine Dogucu 2021-12-01 News In addition to this online version, Bayes Rules! is now available in print by CRC Press. The book is 20% off with the discount code BRD20. For other information and resources related to the book, check out https://bayes-rules.github.io/.
第15回出生動向基本調査（結婚と出産に関する全国調査）｜国立社会保障・人口問題研究所
国立社会保障・人口問題研究所は、平成27（2015）年に実施した「第15回出生動向基本調査（結婚と出産に関する全国調査）」の 結果報告書（確定値）をとりまとめました。 調査の概要 出生動向基本調査は、わが国の結婚と夫婦出生力の動向ならびにその背景を定期的に調査・計量し、 関連諸施策ならびに人口動向把握等に必要な基礎データを得ることを目的とした調査で、独身者調査と 夫婦調査から構成されています。 調査対象は、独身者調査では「平成27年国民生活基礎調査」で設定された調査区から無作為に選ばれた 900調査区に居住する18歳以上50歳未満の全ての独身者で、夫婦調査では独身者調査と同じ900調査区に居住する50歳未満の有配偶女性です。 独身者調査では調査票配布数11,442票に対して有効票数は8,752票、有効回収率は76.5％でした。 また、夫婦調査では調査票配布数7,511票に対して有効票数は6
逐次モンテカルロ、状態空間モデル、粒子フィルター
今回もまた、逐次モンテカルロ、状態空間モデル、そして粒子フィルタについてそれぞれやや詳しく解説していこうかと思う。理論的な分析は専門家向け過ぎるので割愛。 ますは逐次モンテカルロ法から。$(E,\mathcal{E})$を適当な可測空間として、$(E^{n},\mathcal{E}^{n}):=(\prod_{p=0}^{n}E^{p},\mathcal{E}^{\otimes n})$ 上で定義されるターゲットとなる（サンプリングをしたい）密度関数 $\left\{ \pi_{n}(x_{0:n})\right\} $ があるとする。仮定として、$\left\{ \pi_{n}(x_{0:n})\right\} $ の積分化定数は分からないとする。つまり、\begin{align} \pi_{n}(x_{0:n}) & =\frac{\gamma_{n}(x_{0:n})}{Z_{n}}
京都大学大学院医学研究科 聴講コース 臨床研究者のための生物統計学「仮説検定とP値の誤解」佐藤 俊哉 医学研究科教授
京都大学大学院 医学研究科社会健康医学系専攻 AMED生物統計家育成支援事業 聴講コース 臨床研究者のための生物統計学 https://ocw.kyoto-u.ac.jp/course/328/ 「仮説検定とP値の誤解」 佐藤 俊哉 医学研究科 教授 2017年10月19日 00:00 検定とP値のさまざまな誤解 13:43 American Statistical Association 28:32 検定の復習 40:23 誤解しない、されないためには？
家計の金融行動に関する世論調査｜知るぽると
家計の金融行動に関する世論調査は、「二人以上世帯」と「単身世帯」を「インターネットモニター調査」により実施し、公表資料を掲載しています。
東京都のCOVID-19
東京都の情報は2021-05-24以降は毎日16:45に東京都福祉保健局からPDFで発表されているが，手作業での更新のようで，うまくスクレープできないこともあった。そうこうしているうちに厚労省が16:00ごろ全国の都道府県についてオープンデータを更新することになったので、そちらを取得して COVID-tokyo.csv を作成し，自動ツイートしている（描画部分のコード：COVID-tokyo.py）。そのグラフ： 実効再生産数を，(直近7日間の陽性数/n日前7日間の陽性数)**(5/n)で近似したもの。東洋経済オンラインでは n=7 としているが，ここでは 1 から 7 までの7本のグラフを示した。 全区間にわたってプロットしたもの： 縦軸を対数目盛にしたもの： 奥村 晴彦 Last modified: 2022-12-31 16:26:39 JST
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
食べログ3.8問題に終止符を打つ
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import json import glob import math from pathlib import Path from collections import Counter from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score from sklearn.metrics import confusion_matrix from sklearn.metrics import roc_auc_score from sklearn.model_selection imp
データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary
(2019/10/12追記 データ解析のプログラムもGitHubで公開しました) (2019/10/15追記 会員の見分け方に誤りがありました。本文中では"非会員"と"有料会員"に分けると述べていますが、正確には"非会員・無料会員"と"有料会員"に分かれています。以後の図・文章は脳内で変換していただけると幸いです。詳細は https://anond.hatelabo.jp/20191011180237 で他の方が調べてくださっています) はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kullback-Leibler 距離のあれこれ / KL Divergence
https://sunmath-calc.co.jp/news/1440.html
OSF
京都大学大学院医学研究科 聴講コース 臨床研究者のための生物統計学「統計家の行動基準 この臨床試験できますか？」
日本統計学会創立75周年記念出版『21世紀の統計科学』(全3巻) 増補HP版 (2012年1月)