はてなブックマーク

統計学にはt検定やカイ二乗検定、ウィルコクソンの順位和検定、 Mann–WhitneyのU検定などなど様々な検定方法が存在します。 それらは検定対象とする母集団の特徴によってパラメトリック手法とノンパラメトリック手法の2種類に分類することができます。 このページでは、パラメトリック手法とノンパラメトリック手法をそれぞれ説明します。 パラメトリック手法とはパラメトリック手法とは、「与えられた母集団が何らかの分布に従っている前提がある」ときに使う手法です。 この時の何らかの分布とは大抵の場合は正規分布を指します。 正規分布に従う母集団の例としては人間の身長と体重などがあります。 パラメトリック手法の代表例として、t検定があります。 パラメトリック手法の特徴パラメトリック手法は、母集団が正規分布に従っていないと使用することができません。 そのため、全く新しい種類の母集団にパラメトリック手法を用い

G検定合格に必要な知識（AI・機械学習・ディープラーニング）が どの程度あるかを判定する、簡易試験問題です。 このテストは、G検定*に合格するために抑えておくべきAI・機械学習・ディープラーニングの 知識が、どの程度身についているかチェックするための簡易試験です。 問題を解いたら自分の答えをメモしていただき、解答を見て自己採点を行ってください。 合計点数からあなたの現在の知識レベルを判定し、おすすめの試験対策方法が分かります。 *G検定(AIジェネラリスト検定)とは、日本ディープラーニング協会が主催する、 AIや機械学習・深層学習の網羅的な知識を検定する試験です。 問1. AI（人工知能）とは次の文章を読み、空欄に最もよく当てはまる選択肢を選べ。 「AI」や「人工知能」と聞いてイメージするものは人によって異なる。 （ア）型人工知能は「（イ）AI」とも呼ばれ、特定のタスクに限定せず、人間と同

不偏推定量とは統計的推定には様々な手法がありますが、中でもよく用いられるのが、普遍性という基準に基づいた推定です。普遍性とは、推定量の期待値が母数と等しくなる性質であり、母数θθθの推定量をθ^\hat{θ}θ^と表すと、 E(θ^)=θE(\hat{θ}) = θE(θ^)=θ を満たすようなものです。また、この時の推定量θ^\hat{θ}θ^を不偏推定量と言います。これは点推定の一種です。 平均と分散の不偏推定量例として、無作為標本x1,x2,...,xnx_1,x_2,...,x_nx1​,x2​,...,xn​から推定できる、母集団の平均μμμと分散σ2σ^2σ2の不偏推定量を考えてみます。 平均の不偏推定量標本平均をxˉ\bar{x}xˉとすると、 E(xˉ)=E(1n∑i=1n xi)=1n∑i=1n E(xi)=1n×nμ=μE(\bar{x}) = E(\frac{1}{n

ロジスティック回帰分析とはロジスティック回帰分析は、商品の購入確率、病気の発症確率といった二値判別問題に対して回帰分析を考えたいときに有用な手法です。 二値判別問題とは、０か１であるダミー変数を予想、分析するような問題です。 ロジスティック回帰分析を以下の式で表します。 p= 11+ exp⁡(−(a1x1  +  a2x2  +  ⋯  +  anxn  +  b))  p = \frac{ 1 }{ 1 + \exp ( -(a_1x_1   +   a_2x_2   +   \cdots   +   a_nx_n   +   b) ) }  p= 1+ exp(−(a1​x1​  +  a2​x2​  +  ⋯  +  an​xn​  +  b))1​ ... ① 目的変数は確率であるため p p pと置きました。 この式を見ると、xix_ixi​がどんな値をとっても目的変数pppが

これらの言葉の意味を考えるときに注意すべきなのは，「サンプル」という用語の意味です。 サンプルとは「標本」、「群」の意味で、ひとまとまりの観測データを指します。 サンプル数とは「群の数」、サンプルサイズとは「一つの群のサイズ，大きさ」という意味になります。 例題：各都道府県の男子高校生の身長例題 47 都道府県の男子高校生の身長の平均を比較するという調査を行います。各都道府県から無作為に 1000 人を選んで平均を算出したとき、この調査におけるサンプル数、サンプルサイズをそれぞれ考えましょう。 解答 サンプル数（群数）：47 サンプルサイズ（各群のサイズ）：1000 人 / 群 標本抽出を 47 回行ったためサンプル数は 47、各標本の個体数が 1000 人のためサンプル数は 1000 となります。 例題：マウスの投薬実験例題 癌を発症したマウスに対して、コントロール、薬 A、薬 B（それ

最尤推定量は点推定の一種で、重要な役割を果たしています。また、ベイズ推定との関係性においても議論されます。 事前の知識として、統計的推定の点推定という考え方を知っていると、理解しやすくなります。 最尤推定量とは？最尤推定量とは、文字の如く、最も尤もらしい推定量のことです。 最尤推定量の定義最尤推定量の定義は以下のようになります。 パラメータθ\thetaθに従う分布の密度関数をf(x;θ)f(x;\theta)f(x;θ)とする。尤度関数をL(θ;x)=f(x;θ)L(\theta;x)=f(x;\theta)L(θ;x)=f(x;θ)とすると、L(θ;x)L(\theta;x)L(θ;x)を最大にするような推定量θ=θ^\theta=\hat{\theta}θ=θ^をθ\thetaθの最尤推定量という。 コイン投げの例で最尤推定量を考えるでは「尤もらしい」というのはどういう意味なのでしょ

ベルヌーイ分布とはベルヌーイ分布とは、「成功か失敗か」「表か裏か」「勝ちか負けか」のように２種類のみの結果しか得られないような試行（ベルヌーイ試行）の結果を0と1で表した分布を指します。 1である確率がpppであるとき、0である確率は1−p1-p1−pとなる、非常にシンプルな確率分布です。 ベルヌーイ分布の公式ベルヌーイ分布にまつわる公式を確認しておきましょう。

分散とは（Variance）分散とは数値データのばらつき具合を表すための指標です。ある一つの群の数値データ（観測値）において、個々のデータと平均値の差の2乗の平均を求めることによって計算されます。 分散を文字式で表す場合、標本分散をs2s^2s2、母分散をσ2σ^2σ2と表現することが多いです。 分散には、平均値から離れたデータが多ければ分散は大きくなり、平均値に近いデータが多ければ分散は小さくなるという特徴があります。 分散の公式分散はデータと平均値の差の2乗の平均であることから、公式は以下のようになります。 s2=1n∑i=1n(xi−x‾)2s^2 = \frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2s2=n1​i=1∑n​(xi​−x)2 nnn：データの数 xix_ixi​：各データ(x1,x2…

仮説検定（hypothesis testing）とは仮説検定とは「とある仮説に対して、それが正しいのか否かを統計学的に検証する」という推計統計学の手法の一つです。 統計的仮説検定もしくは省略して検定と呼ぶこともあります。 仮説検定を利用する場面仮説検定がどのような場面で使えるのか、その具体例を見ていきましょう。 例 ”自称”予知能力のある占い師がいます。その能力が本物かを検証すべく、野球の試合の勝ち負け予想をさせたところ、5試合連続で予想を的中させました。 さて、ここで占い師の予知能力は本物であると言えるでしょうか？ （※なお試合の勝率は常に12\frac{1}{2}21​とします） これを統計学を用いて客観的に判断するのが、仮説検定と呼ばれる手法です。 まずは前提条件として、仮説H0H_0H0​と、H0H_0H0​の逆のH1H_1H1​を以下のように置いてみます。 H0H_0H0​：この

t検定とはt検定は、母分散が未知の正規分布に従う場合に利用する検定手法です。 Z検定は、母分散が既知の正規分布に従う場合に利用する検定手法なので、t検定とZ検定の違いは母分散が未知であるか既知であるかという点になります。 現実では母分散が未知である場合が大多数なので、t検定のほうが有用な検定手法として利用されます。 母分散が未知の正規分布の性質正規分布に従うと仮定したデータに対して仮説検定を行う場合、帰無仮説の下で標準化する必要があります。 標準化の計算過程に母分散が必要になりますが、母分散が未知の場合、代わりに標本分散による推定値「標本不偏分散」を使います。 標本不偏分散を使って標準化した場合、正規分布は標準正規分布ではなくt分布に従うことが知られています。 また、この操作によって得られた値をt値といい、t値とt分布表によって得られる値をp値（有意確率）といいます。 p値が有意水準より小