Jackknife法とサンプル数バイアス - Qiita
はじめに 平均0、分散$\sigma^2$のガウス分布に従う確率変数$\hat{x}$を考えます。確率変数の2次と4次のモーメントはそれぞれ $$ \left< \hat{x}^2 \right> = \sigma^2 $$ $$ \left< \hat{x}^4 \right> = 3 \sigma^4 $$ です。したがって、以下のような量を考えると分散依存性が消えます。 $$ U \equiv \frac{\left< \hat{x}^4 \right>}{\left< \hat{x}^2 \right>^2} = 3 $$ これは尖度(kurtosis)と呼ばれ、ガウス分布で0とするような定義もありますが、本稿ではガウス分布で3となる上記の定義を用います。 実際に上記の量を計算して3になるか確認してみましょう。平均0、分散$\sigma^2$のガウス分布に従うN個の確率変数$\ha
統計検定1級に合格するために勉強したこと｜nooyosh
こんにちは、nooyoshです。2019年11月に実施された統計検定1級（統計数理・統計応用）に合格（統計応用は優秀成績賞）いたしましたので、そのあたりのことを書きます。 教科書 DeGroot&Schervish の "Probability and Statistics" をやりました。海外の古本販売サイトAbeBooks( https://www.abebooks.com/ )で買ったインド版の古本です。 ここに注釈などを自分で書き込んで読んでいきました。スタバで少しずつ読み進めていました。途中ブランクが一年ぐらい空いて、結局二年弱ぐらいかかったかと思います。演習問題については、"Student Solutions Manual for Probability and Statistics"という解答集をAbeBooksで購入し、やっていきました（この本は奇数番号しか答えがついていな
基礎統計学の勘どころ #10 検定力，サンプルサイズの決め方 - 十の並列した脳
前回↓ ryosuke-okubo.hatenablog.com 前回は仮説検定を行うことで，新薬Aとプラセボの平均には差があることを立証できないことを示した。またその原因として，サンプルサイズが小さいことをあげた。では，どれくらいの大きさに設定すればいいのだろうか，それを今回は考察していく。 内容について，以下を参考にした。 サンプルサイズの決め方 (統計ライブラリー) 作者: 永田靖 出版社/メーカー: 朝倉書店 発売日: 2003/09/28 メディア: 単行本（ソフトカバー） 購入: 20人 クリック: 277回 この商品を含むブログ (14件) を見る 伝えるための心理統計: 効果量・信頼区間・検定力 作者: 大久保街亜,岡田謙介 出版社/メーカー: 勁草書房 発売日: 2012/01/26 メディア: 単行本 購入: 9人 クリック: 164回 この商品を含むブログ (13件)
不偏分散の平方根は標準偏差の不偏推定量か - 統計WEB
不偏分散は母分散の不偏推定量であることが知られています。では、不偏分散の正の平方根は母標準偏差の不偏推定量、つまり「不偏標準偏差」であると言えるでしょうか。結論から言うと、「不偏推定量ではない」が答えです。以下では、正規分布の場合を例にしてそれを確認します。 最初に、不偏分散の式について確認しましょう。不偏分散は次のような推定量です。 以下では、個の確率変数は独立に同一の正規分布に従うとします。これらから、の母標準偏差を推定することについて考えます。不偏性の定義よりが成立すれば、は標準偏差の不偏推定量であると言えます。では、の値を具体的に計算してみましょう。 まず、カイ二乗分布の定義から、を次のように変形したは、自由度のカイ二乗分布に従うことが分かっています。も確率変数であると考えることができます。
統計検定1級対策解説~一様最強力検定編~ - バナナでもわかる話
今回は、一様最強力検定の話をします。 目次 仮説検定 帰無仮説と対立仮説 誤差の確率 一様最強力検定 単純仮説 証明 スポンサーリンク 仮説検定 とりあえず、ザックリと仮説検定の話をしていきます。 仮説検定とは、「ある仮説を否定(棄却)出来るかどうかを検討したい」だとか、「ある仮説に基づいて、何かしらの意思決定を行いたい(モデル選択等)」といった場合に利用する、判定方法です。 基本的な枠組みは次の通り。 帰無仮説と対立仮説 まず、棄却出来るかどうかを考えたい仮説として帰無仮説を考えます。 例えば、ある正規分布に従っているデータを考えた時に、恐らく期待値は0ではないはずだと考えたとします。しかし、これは予想であって、客観的な根拠がありません。そこで、帰無仮説として期待値が0であるという仮説を設けます。この仮説を、仮説検定を使って棄却出来れば、「このデータの期待値は0ではない」ということが出来
一様最強検出力検定とネイマン・ピアソンの補題 | 有意に無意味な話
前回の記事「仮説検定の過誤と検出力関数」では仮説検定には第一種過誤／第二種過誤があり、その二つを考慮した評価尺度として検出力関数を導入しました。通常、第一種過誤と第二種過誤はトレードオフの関係があるので 第一種過誤の発生確率を高々[math]\alpha[/math]に押さえた検定（有意水準[math]\alpha[/math]の検定）に限定 有意水準[math]\alpha[/math]の検定の中で第二種過誤の発生確率が低い、つまり検出力関数が大きい検定を探す という方針で「良い仮説検定」を選択します。この方針のことを「ネイマン・ピアソンの基準」と呼びます。 ネイマン・ピアソンの基準に沿って考えると、有意水準[math]\alpha[/math]の仮説検定のクラス[math]C_\alpha[/math]の中で検出力関数が大きい検定が「良い検定」と言えます。この「良い検定」を定義したのが
仮説検定の過誤と検出力関数 | 有意に無意味な話
一種、二種と数字が振られているだけの中身と関連が低い残念なネーミングで、未だに あれ？第一種過誤ってどっちだっけ？？ となります。覚えにくいことで悪名高い[1]教科書”Statistical Inference”でも”These two types of errors traditionally have been given the non-mnemonic names, Type I error and Type II … Continue readingこともありいくつか覚え方が知られています。有名なものは第一種過誤、第二種過誤をそれぞれ[math]\alpha[/math]エラー、[math]\beta[/math]エラーとも呼ぶことから（数字順とアルファベット順が同じなので覚えやすいでしょう） 第一種過誤[math]=\alpha[/math]エラー: 本当は帰無仮説が正しかった
スタイン推定量を確かめてみる - 統計コンサルの議事メモ
いきなりですが、最近購入したベイズモデリングの世界を読んでいて非常に面白い話題を発見しました。 ベイズモデリングの世界 作者: 伊庭幸人出版社/メーカー: 岩波書店発売日: 2018/01/18メディア: 単行本（ソフトカバー）この商品を含むブログ (4件) を見る P118から始まるスタイン推定量についてなのですが、その直感的な意味について本文から引用すると： それぞれのを、全部の{}の平均値の方向にだけ引っ張ってやる ことで、そのものを推定量とするよりも、パラメータの真値との二乗誤差の期待値が小さくなるそうです。これはいわゆる縮小推定量の一種で、引っ張りの程度をデータから適応的に求めるのがこの推定量のキモなのだそうです。 スタイン推定量の定義自体はそれほど難しいものでもなく、以下のような式によって表されます： ここで、 です。この記事では、スタイン推定量が本当によりも二乗誤差が小さくな
【備忘録】Stein推定量について - Qiita
はじめに 私は学生の頃は数学科を専門としてなければ、データや統計数理に関わる仕事をしているわけではありません。 数学が好きで独学で統計数理を学んでいるので、間違っている箇所や説明不足のことがあればご指摘をお願い致します。 Stein推定とは 多くの母平均を同時に推定する際に、最小二乗法よりも正確な推定が出来る手法の一つです。いわゆる縮小推定量の一種です。 いま$ N $個の母数$x_1$,$x_2$,$x_3$, , ,$x_N$があり、それぞれの$x_i$について分散$σ$の正規分布$N(x_i,σ)$に従う独立した確率変数$z_1$,$z_2$, , ,$z_N$が観測されたとします。 $x_i$の自然な推定量は$z_i$自身であり、$z_i$は最小分散不偏推定量であり、最尤推定量です。 $z_i$をもとに$x_i$を推定しようとする時、基本的には平均二乗誤差(MSE)を基準とします。
Stein現象とJames-Stein推定量の平均2乗誤差 - Qiita
1. Introduction : 平均2乗誤差 母集団のパラメータ$\theta\in\mathbb{R}^d$に対して、標本$X=(X_1,\cdots,X_n)$を用いた推定量$\hat{\theta}=\hat{\theta}(X_1,\cdots,X_n)$を考えたとき、その推定量$\hat{\theta}$の良さを \begin{eqnarray*} \mathrm{MSE}(\hat{\theta};\theta)&:=&\mathbb{E}\left[\|\hat{\theta}-\theta\|^2\right] \end{eqnarray*} の大きさで測るアイディアは自然に見えるのではないでしょうか。これを推定量$\hat{\theta}$の平均2乗誤差 (mean squared error, MSE) といいます。 2. James-Stein推定量 1956年、
[数理統計学]統計的推定のまとめ – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 通勤電車のなかで私が勉強する用のシリーズ第4弾です。今回は統計的推定についてまとめておこうと思います。統計検定のための勉強のログのようなものです。概要と、簡単な例を可能な限り集めて載せていこうと思います。 【これまでのシリーズへのリンク】 ・[数理統計学]正規分布から導かれる分布(カイ二乗分布/t分布/F分布)の期待値と分散の導出まとめ ・[数理統計学]連続型確率分布の期待値と分散の導出まとめ ・ [数理統計学]離散型確率分布の期待値と分散の導出まとめ 目次 不偏性
![[数理統計学]統計的推定のまとめ – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
十分統計量、フィッシャー-ネイマンの分解定理 - Qiita
標本集合から、確率分布のパラメーター $\theta$ を統計的推定する際、推定に十分な情報を含んだ統計量を十分統計量と呼ぶ。 確率変数 $X$ に対する統計量 $T(X)$ が以下を満たす場合、その統計量は十分統計量と定義される。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Is it possible to have a pair of Gaussian random variables for which the joint distribution is not Gaussian?
statistician_ja_lt5.pdf
DataArts
https://www.jstage.jst.go.jp/article/konpyutariyoukyouiku/34/0/34_24/_pdf
https://mcm-www.jwu.ac.jp/~konno/pdf/statha91.pdf
幾何を使った統計のはなし
text-2004.dvi
Qrunch（クランチ）| 技術ブログの総合プラットフォーム