ロジスティック回帰の最尤推定量にはバイアスがある - ほくそ笑む
ロジスティック回帰について調べている。 ロジスティック回帰モデルのパラメータの最尤推定量は、不偏推定量ではなく、バイアスがある。 例として、サンプルサイズ 、入力変数の数 のときを考える。 パラメータ 300個の真の値を、最初の 100個は 、次の 100個は 、残りの 100個は に設定して推定してみよう。 n <- 1500 p <- 300 # データの生成 set.seed(314) x <- rnorm(n * p, mean = 0, sd = sqrt(1/n)) X <- matrix(x, nrow = n, ncol = p) beta <- matrix(c(rep(10, p/3), rep(-10, p/3), rep(0, p/3))) logistic <- function(t) 1 / (1 + exp(-t)) prob <- logistic(X %*
どこでも効果 - Wikipedia
どこでも効果[1]（どこでもこうか、英: look-elsewhere effect、略称: LEE）とは、科学実験の統計分析における、特に複雑な素粒子物理学実験における現象であり、探索するパラメータ空間の大きさのせいで一見統計的に有意な観測が実際に偶然生じることを意味する[2][3][4][5][6]。 ひとたび分析におけるLook-elsewhere誤りの確率が認知されれば、標準的な数学手法を注意深く応用することによって補正することができる[7]。 統計学においては多重比較問題としてより一般的に知られているが、この用語は大型ハドロン衝突型加速器（LHC）でのヒッグスボゾンの探索の文脈で、2011年に一部のメディアの注目を浴びた[8]。 使用[編集] 多くの統計検定は、偶然の同時を仮定した時に任意の結果が得られる確率であるp値を与える。「XはYに影響を与えるか?」を問う時、Xを変動させ、
帰無仮説検定が正しいのか正しくないのか - 驚異のアニヲタ社会復帰の予備
検定とp値がいつまで経ってもわからないので久々にシミュレーションした。 対照群 と治療群 があって、なんらかの指標となる値に変化があるかどうか調べたい。 比較するのは、母集団（真の分布）である（ここでは真の分布は正規分布であると自分は分かっているので、 は自分で決められるしシミュレーションでは正確に比較検討できる）の平均 である。 ここではシミュレーションなので は分かっているが、実際のデータ解析においては母集団（真の分布）は分布の形もわからないしもちろん真のパラメータの値もわからないのが、実験して標本（サンプル）は分かる。この標本のデータを使って 帰無仮説 と対立仮説 を考えるのが一般的な帰無仮説検定とp値の扱いである。 が真と仮定してp値を計算したらp<0.05 なのでこれは棄却（本当は有意水準）．．．というのがよくある考え方である。 単純に総当りとして が真か偽で、それぞれp>0.0
本当は奥が深いSoftmaxとそのお仲間達 - Qiita
17日目書かせていただきます．よろしくお願いします． 機械学習やってます！という方は，きっとsoftmaxに日頃お世話になっているだろう．しかし多くの方は，「softmaxを使えば，ニューラルネットとかで分類問題解けたりするんでしょ？」程度の理解ではないだろうか？私もそうだ．使えれば何でも良い．しかしこの記事では，softmaxについて少々深掘りをしてみたいと思う．本記事の流れとしては，argmaxを導入し，softmaxをラグランジュの未定乗数法で導出し，出力がスパースになるsparsemax,それらの一般化であるentmaxを紹介したいと思う． おまけとして，温度付きsoftmaxとGumbel-softmaxも入れたので，適当に興味あるところだけでも読んでくれると嬉しい． この記事では，なんちゃらmaxに入れる前の値をロジットと呼び，$\mathbf{z}$で表す．また，なんちゃらm
デジタル庁のデータ分析基盤「sukuna」｜デジタル庁
はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
High-Dimensional Probability
Welcome to my course in high dimensional probability. I am Roman Vershynin, professor of mathematics at the University of California, Irvine, and the author of the textbook "High dimensional probability. An introduction with applications in Data Science." This course builds probabilistic foundations for theoretical research in modern data science. You will learn some methods that form an essential
Rで推定するパレート分布
「第222話｜パレート指数による売上分析」でパレート分布についてお話ししました。 ビジネスはパレートな世界の住人でしょう。 例えば…… チェーン店であれば、極端に売上の大きい店舗はあります 営業パーソンであれば、極端に受注額の大きい人はいます 顧客であれば、極端に取引額の大きい得意先はあります 商品であれば、極端に利益額の大きい商品はあります 日販であれば、極端に売上高の高い日はあります ……などなど。 どのようにして、得られたデータからパレート分布を推定するのかを説明します。 3つのパッケージ パレート分布に関するパッケージは、Rには色々あります。 今回は、パッケージ「Newdistns」を利用します。 パレート分布といっても色々と進化し、他の確率分布と一緒くた（同じ枠組みでくくられ）になっています。 パッケージ「Newdistns」では、色々なパレート分布（一般化パレート分布や指数化パ
統計的因果推論と因果探索について｜M3 Data Science Blog
こんにちは。エムスリーデータ分析グループの中島です。 本記事ではマーケティングやデータサイエンスの文脈で重要度が高まっている統計的因果推論への足掛かりをデータ分析グループの業務と結び付けながらご紹介したいと思います。 1. はじめに「A→Bの因果関係がある」とは、Aへ介入する（Aを変化させる）ことよって、要因Bを変化させることができることを意味します。 具体例で考えると、投薬（A）の有無によって病気の治癒率（B）が変化する場合、投薬→治癒率の因果関係があるといえるわけです。 このような因果関係をデータを活用して解き明かそうとするのが統計的因果推論の目的ですが、大別するとさらに次の２つに分類されます。 (1) 因果の方向を既知のものとして因果の大きさを評価(因果推論) (2) 因果の方向の決定・探索(因果探索) これらの基本的な考え方と手法について紹介をしたいと思いますが、その前に重要な概念
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Neural networks generalize because of this one weird trick — AI Alignment Forum
RPubs - AIC, WAIC, WBICを実感する
https://www.tandfonline.com/doi/full/10.1080/10618600.2023.2197488
https://grodri.github.io/glms/notes/a1.pdf
https://xunzheng.github.io/files/score_single.pdf
http://www.chugaiigaku.jp/upfile/browse/browse1970.pdf
新潟医学会 特別講演 | ドクセル
Stein's lemma - Wikipedia
関数データ解析の概要とその方法
Stochastic Gradient Annealed Importance Sampling
Bayesian analysis: Gelman–Rubin convergence diagnostic | Stata
https://www.emis.de/journals/em/docs/boletim/vol374/v37-4-a2-2006.pdf