「P値」とは何かと問われて答えられない者には人権がない
竹内幹 @takekan 「p値」って何といわれて全く答えられない人に、計量経済入門の単位とか認定しちゃだめだよなあ、と思っている。 ざっくりいえば、ｐ値(p-value)は「ある結論が、実はただの勘違いである可能性」と解釈できる。（小声でいうと、小さい方がうれしい） 例えば、学生グループＡとＢのテストの成績差。 2024-06-04 17:47:14 竹内幹 @takekan 学生グループＡと学生グループＢのテストの成績に差があって、Ａのほうが"かなり"平均点が高かったとしよう。 それは、Ａのほうが頭よい学生たちだからだ（つまり、有意差がある）と言いたいとき、「ここまでの大きな得点差が誤差であるとは思えない」と結論します。 でも、実力差がなかったとし.. 2024-06-04 17:47:14 竹内幹 @takekan ＡとＢに実力差がなかったとしても、まれに、”大きな得点差”が観察され
『用量反応試験における患者の割り付けの深層強化学習による最適化』というタイトルで統計関連学会連合大会で発表しました - StatModeling Memorandum
ありがたいことに統計関連学会連合大会の招待講演の依頼がありましたので喜んで引き受けました。たくさんの質問ありがとうございました。 発表資料を共有します。一言で言うと、臨床試験において各患者を各用量にどう割り付けるのが良いかを強化学習を用いて求める方法です。性能が良く第2相試験の効率を大きく改善すると思っています。実際の臨床試験でぜひ使ってほしいですし、そのための協力は惜しみません。 用量反応試験における患者の割り付けの深層強化学習による最適化 by @MatsuuraKentaro 元論文はこちらです（open access）。 資料の方は分かりやすさ重視のため、評価シナリオにexponentialモデルが入っていないです。論文の方は欠点を明確にするために入っています。 ソースコードは以下です。2022/9/6にPythonのgymライブラリに互換性のない変更が入りましたので、Rayライブ
ABテストにおける分散削減手法①〜少ないサンプルから小さな改善効果を検出する〜｜あならいずパンダ
マネーフォワード 分析推進部の石田と申します。 社内では、データサイエンティストとして施策効果検証系の案件を中心に担当しています。 本稿から2回に渡って、「ABテストにおける分散削減手法」というテーマで記事を執筆したいと思います。 馴染みのない方もいらっしゃるかもしれませんが、ABテストへ分散削減手法を適用することで、例えば以下に挙げたメリットを享受することができます。 必要サンプルサイズを低減できるため、意思決定サイクルを高速化できる より小さな改善効果を検出できる 魅力的だと感じていただけた方は、ぜひ最後まで本稿をお読みください！ 目次 想定する読者層と書いてある内容本稿のメインターゲットは、以下のような方です。 統計的仮説検定の理論を少し勉強したことがあるけど、分散削減と言われてもあまりピンと来ていない 確率変数、標本平均、分散、正規分布の意味は分かるけど、t検定の検定統計量がパッと
ロジスティック回帰の固定効果について - データ分析メモと北欧生活
従属変数が0か1を取る離散変数だったり、３つ以上のカテゴリー変数だったりすると、まず思いつくのはロジスティック回帰 (Logistic Regression)、もしくはロジット離散選択モデル (Logit Discrete Choice Models)だと思う。 一方で、パネルデータを扱う場合、よく使われるのは個人の固定効果モデル(Individual fixed effect)だ。時間的に依らない個人の一貫した選択の傾向などがある場合は、その個人の傾向が考慮されないと誤差項に自己相関が含まれるし、個人の傾向が説明変数と相関していると推定された係数にバイアスが生じる。個人の傾向が説明変数と独立だと仮定すると変量効果(Random Effect)モデルでよいが、相関があるなら固定効果モデルで推定するとバイアスがない推定が出来る。（個人の効果を除いた残りの誤差が独立だと仮定して。） これらのパ
Misconceptions about the normal distribution - Wikipedia
Students of statistics and probability theory sometimes develop misconceptions about the normal distribution, ideas that may seem plausible but are mathematically untrue. For example, it is sometimes mistakenly thought that two linearly uncorrelated, normally distributed random variables must be statistically independent. However, this is untrue, as can be demonstrated by counterexample. Likewise,
確率変数の比の分布における平均と分散をデルタ法で求める - 人間だったら考えて
この記事は何？ そもそもデルタ法とは 2変数のデルタ法 確率変数の比の分布における平均と分散 その他 参考 この記事は何？ Yandexが出したA/Bテストに関する論文 (R. Budylin, WSDM 2018) を眺めていたら、以下のような式が出てきました。 この式は、確率変数の比の分布における分散の式になっており、デルタ法を用いることで示せるとのことです。 この記事では、確率変数の比の分布における平均と分散をデルタ法で求めてみます。 そもそもデルタ法とは デルタ法についての説明は『現代数理統計学の基礎（久保川, 共立出版）』が詳しいです。 www.kyoritsu-pub.co.jp ざっくり言うと、デルタ法はテイラー展開を用いることで、変換された確率変数の平均や分散を、元の確率変数の平均や分散で近似的に表す方法です。 ５．正規母集団からの標本に基づく推論のデルタ法についての説明を
Bhattacharyya distance - Wikipedia
In statistics, the Bhattacharyya distance is a quantity which represents a notion of similarity between two probability distributions.[1] It is closely related to the Bhattacharyya coefficient, which is a measure of the amount of overlap between two statistical samples or populations. It is not a metric, despite being named a "distance", since it does not obey the triangle inequality. History[edit
Daily Life:大塚淳『統計学を哲学する』を読む
August 02, 2021 大塚淳『統計学を哲学する』を読む [追記：この記事について大塚さんご本人からリプライをいただいています。] 昨年出版された大塚淳『統計学を哲学する』は、日本人の統計学の哲学者によるはじめての「統計学の哲学の本」である。こうした科学哲学の先端の領域になかなか日本の研究者が切り込めて来なかった中で、ついにこうした本が出版されるようになったことは大変慶賀すべきことだと思う。さらに言えば、本書は決してただの解説書ではなく、大塚さんの独自のアイデアに溢れた、統計学の哲学の研究書である。特に、ベイズ主義と古典統計をそれぞれ内在主義と外在主義の認識論になぞらえて認識論的含意を取り出そうとするあたりは、他の追随を許さない独自の議論が多く展開されている。本書は今後日本で統計学の哲学について議論する際に常に出発点となることだろう。本書は非哲学者も含めて広いリーダーシップを獲得し
ベイズ統計学に関する議論を整理する - hidekatsu-izuno 日々の記録
最近、「統計学を哲学する」の出版をきっかけとした Twitter 上の議論を追いかけながらベイズ統計学について調べている。 統計学を哲学する 作者:大塚 淳発売日: 2020/10/26メディア: 単行本（ソフトカバー） 前々からベイズ統計学については興味があったので、議論を追ったら何かしらの理解を深められるのでは、と思い関連するツィートを読んでみたのだが、これがびっくりするほどわからない。 通常「わからない」と書いたら高度な数学的議論が繰り広げられているからわからない、という意味だと思われるかもしれないがそうではない。そもそも何が論点なのかもはっきりとせず、議論らしき議論も行われず、ほとんどうんこの投げ合いと呼んでもいい状況だったのだ。 なるほどこれが「頻度主義 vs ベイズ主義」の対立なのかと思いもしたのだが、もやもやが残ったこともあり、議論の内容は理解できなくても論点整理くらいはでき
それはベイズ統計学ではなくて、言わば情報量規準主義ですよ
統計学を専門としない数学者から、ベイズ統計学の事前確率を主観的と言うのはトンデモだという非難から、ベイズ主義や頻度主義と言う分類を考えるのは有害無益だからやめて、カルバック・ライブラー情報量に基づく“主義によらない”統計学を考えるべきだと主張が展開され、その他のオモシロ主張*1も含めて困惑が広がっている。 昨日から統計学にはやはり主義が要ると言う批判もされている*2のだが、“主義によらない”と言う誤った謳い文句に騙されている。統計学の主義は手順や解釈の方針である事に注意すると、カルバック・ライブラー情報量に基づいた統計手法と言うのは一つの主義である。情報量規準主義。 もう少し具体的に説明すると、ベイズ統計学の事前確率（先験確率）を、データから定まらないと言う意味で主観的なものではなく、データから定まると言う意味で客観的なものにしようと言うのが、情報量規準主義だ。情報量規準主義者はその始祖を
統計初心者が統計モデリング力を鍛えるための勉強法 - Qiita
以前、『結局、統計モデリングとは何なのか』という記事を書きました。 この記事は、その名の通り、「そもそも」何が統計モデリングで、何が統計モデリングではないのかということを扱った記事です。 今回は、「統計モデリングとは何か」を理解した方に向けて、実際に「統計モデリング力」を鍛えるためにはどうするかを書いていきたいと思います。 この記事の目的と対象者 上記でも述べたようにこの記事の目的は、どのように「統計モデリング力」を鍛えるかを書くことです。 統計学に入門するところから、高度な統計モデルを扱えるようになるまでの勉強法について書いています。 したがって、統計初心者からそれなりに理解している人までの幅広い層が想定読者となります。 ところどころで、プログラム言語で実際に手を動かしながら学ぶタイプの本を紹介することもありますので、そういった本を読むためにはPythonまたはRの知識が必要になります。
[PDF]井澤佳那子 (2017) 統計モデルと一般化推定方程式
・Wedderburn, R. W., Quasi-likelihood functions, generalized linear models and the Gauss—Newton method. Biometrika, Vol.61, No.3, pp.439-447, 1974. ・Liang, K. Y., Zeger, S. L., Longitudinal data analysis using generalized linear models. Biometrika, Vol.73, No.1, pp.13-22, 1986. （Wedderburn, 1974） Zeger, S. L., Liang, K. Y. , 1986 Introduction 私の研究について 私の研究について quantization, sampling 私の研究について 私の研究につ
《偽陽性》などの言葉について - Interdisciplinary
www.sponichi.co.jp 体操の内村航平選手が先日、新型コロナウイルス感染症に対する検査を受けて陽性になりましたが、昨日、結局は偽陽性であった旨の発表がなされました。 この報道を受け、偽陽性なる語が、いくらか話題になっています。その中で、偽陽性の意味合いがきちんと理解されていない場合もあるように見受けられますので、簡単に説明をします。 ❓偽陽性って聞いた事無い。最近作られた言葉なのでは 違います。偽陽性（false positive）は、古くから、検査に関する議論の文脈で用いられてきたものです。 たとえば、古い文献を探すと、1928年に既に用例が見られます↓ www.jstage.jst.go.jp 斯る強き偽陽性反應を呈した血清 ただ、同じ語でも微妙に意味合いが変化していく事もあるので、なるべくはっきりと現代的な意味で用いられているもので探してみます。それでも、1950年代の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rademacher distribution - Wikipedia
分散分析
生物統計入門
機械学習のための確率過程入門: 確率微分方程式からベイズモデル,拡散モデルまで
The Epic Story of Maximum Likelihood
Nielsen+ (2021) Computing Statistical Divergences with Sigma Points
Borrowing strength