平均 μ\muμ,分散 σ2\sigma^2σ2 の分布(母集団)からランダムに抽出したサンプルの値を x1,x2,⋯ ,xnx_1,x_2,\cdots, x_nx1,x2,⋯,xn とする。 このとき,u2=1n−1∑i=1n(xi−x‾)2u^2=\dfrac{1}{n-1}\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2u2=n−11i=1∑n(xi−x)2 とおくと,E[u2]=σ2E[u^2]=\sigma^2E[u2]=σ2 となる。 u2u^2u2 を不偏標本分散と言う。 ただし,x‾=x1+x2+⋯+xnn\overline{x}=\dfrac{x_1+x_2+\cdots +x_n}{n}x=nx1+x2+⋯+xn は標本平均です。 不偏標本分散(不偏分散)の意味と,n−1n-1n−1 が登場することのきちん
統計での分散には、”nで割る分散”と”n-1で割る分散”の二種類があります。 “nで割る分散”は、一般的な分散です。 “n-1で割る分散”を不偏分散と呼びます。 この記事では、 一般的な分散と不偏分散では何が違うのか。 どうして、不偏分散はn-1で割る必要があるのか。 分散と不偏分散の使い分け方 ついて説明していきます。 不偏分散と標本分散の違いは?n-1で割る理由 まずは、標本分散と普遍分散の違いについて。 標本分散:データのバラツキを表すために用いられる 不偏分散:標本から母集団の分散を推定するために用いられる そして分散には母分散と標本分散があります。 “標本分散”と”不偏分散”の違いを理解するためには、まず、母集団と標本の性質について知る必要があります。 不偏分散を理解するのに必要な母集団と標本とは? 母集団と標本の意味は以下のようです。 母集団は“知りたい対象のすべて”を指します
「95%信頼区間」とは、「正規分布に従う母集団から標本を取ってきてその平均から95%信頼区間を求めた時に、その区間の中に95%の確率で母平均が含まれる」という意味だと思う人がいるかもしれませんが、これは間違いです。 母平均は決まった値(定数)であり、確率的に変化することはありません。つまり、算出された信頼区間に母平均が「含まれる」か「含まれない」かのどちらかしかありえません。したがって、「母平均が、95%の"確率"で推定した信頼区間に含まれる」と言うことはできません。 正しくは、「母集団から標本を取ってきて、その平均から95%信頼区間を求める、という作業を100回やったときに、95回はその区間の中に母平均が含まれる」という"頻度"もしくは"割合"を意味します。 例えば日本人全員の平均身長(=母平均)が170cmであるとします。このときに、ランダムに選ばれた100人の身長から95%信頼区間を
顔妻です。 みなさんは信頼区間というものをご存知でしょうか?標準誤差やサンプル誤差と言われれば聞いたことのある人も多いのではないかと思います。アンケート調査を設計するにあたって非常に大事な点のひとつであるサンプルサイズの設計に必ず使われるこの方法について今回は説明をしたいと思います。 ずはりアンケート調査を実施する際のサンプルサイズを決めるときや結果の読み取りに利用されます。信頼区間を使うと母集団から標本抽出したサンプルの集計結果がどの位の誤差を持っているかがわかります。 そうしたら、サンプルサイズを可能な限り増やせばいいじゃないかと思う方もいると思いますが、ここが難しいところです。というのも、アンケートはNETにしろ街頭にしろテレビのワイドショーでやっているような適当な調査とは違って調査に協力してもらったお礼として謝礼を渡す必要があります。このため、誤差を減らすためにサンプルサイズを増や
MCMCの基礎から実践までをていねいに解説。ベイズ統計や物理学を例にコードを書いてすぐに自分でできるようになる! (まえがき抜粋) マルコフ連鎖モンテカルロ法は 複雑な積分をしたい 複雑な確率の計算をしたい という時に力を発揮する手法です.歴史的には物理学の分野で広く用いられてきましたが,最近では統計学の重要な道具として定着し,統計学的手法が重要な機械学習,金融などの分野でも用いられるようになっています. マルコフ連鎖モンテカルロ法はそれほど難しいものではありません.むしろ,極めて素直な発想に基づいたシンプルな手法です.もちろん,「シンプル=簡単なことしかできない」と考えるのは大間違いです.どんなことにも言えますが,シンプルで本質を捉えたものほど幅の広い応用が可能になります.事実,量子物理学,ベイズ統計,組合せ最適化問題など,分野の違いはあったとしても,多くの問題が最終的に確率と期待値の問
スライド概要 2022年8月14-16日に行われたベイズ統計学勉強会'22夏(いわゆるベイズ塾夏合宿)での発表に使ったスライドです。質問・ご意見等がございましたらメール(h.muto[at]zm.commufa.jp)等でお知らせください。
統計検定準$1$級 以下、難しいトピックには「*」をつけた。 ベクトル・行列・線形代数 ・$2 \times 2$行列の行列式 → $2$次元正規分布の確率密度関数や$2$変数関数の変数変換の際のヤコビアンの計算で出てくる ・$2 \times 2$行列の逆行列の公式 → 頻出 ・転置行列の定義 → 頻出 ・転置に関する公式$(AB)^{\mathrm{T}}=B^{\mathrm{T}}A^{\mathrm{T}}$ → 「正規方程式」によく出てくる ・固有値、固有ベクトル → 「主成分分析」などで用いる ・直交行列 → 「マルコフ連鎖における行列の対角化」や「多次元正規分布の理解*」などで出てくる ・行列の対角化 → 「マルコフ連鎖における行列の対角化」などで出てくる ・行列の$n$乗 → 「マルコフ連鎖における行列の対角化」などで出てくる 微分法 ・積の導関数 → 頻出 ・商の導関数
第1章 ベイジアンモデリングとは 1.1 データ解析とコンピュータ 1.2 ベイジアンモデリングの基礎 1.3 代表的な確率分布 1.4 近似推論手法 第2章 確率的プログラミング言語(PPL) 2.1 ベイジアンモデリングとPPL 2.2 自動微分・最適化アルゴリズム 2.3 PyMC3の概要 2.4 Pyroの概要 2.5 NumPyroの概要 2.6 TensorFlow Probabilityの概要 2.7 GpyTorchの概要 第3章 回帰モデル 3.1 線形回帰モデル:線形単回帰モデル 3.2 線形回帰モデル:線形重回帰モデル 3.3 一般化線形モデル:ポアソン回帰モデル 3.4 一般化線形モデル:ロジスティック回帰モデル 3.5 階層ベイズモデル 3.6 ガウス過程回帰モデル:ガウス尤度 3.7 ガウス過程回帰モデル:尤度の一般化 第4章 潜在変数モデル 4.1 混合ガウス
import numpy as np import scipy from scipy.stats import binom %matplotlib inline %config InlineBackend.figure_format = 'svg' import matplotlib import matplotlib.pyplot as plt import seaborn as sns print("numpy version :", np.__version__) print("matplotlib version :", matplotlib.__version__) print("sns version :",sns.__version__) numpy version : 1.18.1 matplotlib version : 2.2.2 sns version : 0.8.1
この記事について電通デジタルでデータサイエンティストをしている中嶋です。今回の記事では統計的仮説検定における検出力や効果量の概念及び、それらを考慮した事前のサンプルサイズ設計について説明します。読者層としては、既に統計的仮説検定の基本的な使い方を理解している方を主な対象としていますが、そうでない方にもわかるように最初に簡単な復習をします。 統計的仮説検定について 概要 統計的仮説検定(以下、仮説検定)とは、性質の異なるグループ間で平均や分散など各グループを代表するような数値を比較する際に、その差が偶然生じたものか、そうでなく何かしら必然性がありそうかを検証するための統計手法です。例えば比較分析したい2つの群(ex. ユーザーグループ)があった時にある指標(ex. 各群の年齢の平均値)を比較して、統計的に偶然ではないレベルで差異が生じているかを判定したいときに仮説検定を使うことができます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く