WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
ベイズ統計学の概論的紹介
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです．数理・計算科学チュートリアル実践のチュートリアル資料です．引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください． 以下，エラッタ． * 52 of 80：KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80：2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80：AICの第2項は d/2n ではなく d/n. * 76 of 80：βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗す
生存時間解析について - 概要編 - LAPRAS AI LAB
scoutyの高濱です。本記事では、インターンの田村くんと協力してscoutyでの転職可能性予測ロジックに組み込んだ生存時間解析に関する基礎的な事項の説明を行います。 転職可能性予測は、こちらの記事の通り、候補者の現在の転職の可能性を推定して提示し、スカウトメールを送るか否かの判断を助けます。 生存時間解析は、予測ロジックのコンポーネントのひとつとして、経歴などの情報から候補者が現職を退職する時期（月単位）を予測するために利用されています。 生存時間解析とは 生存時間解析とは、生物の死亡や機械系の故障など、一つまたは複数の事象（イベント）が起こるまでの予想される時間を分析するための一般化線形モデルの一分野です。分野によって様々な呼び方があり、例えば工学では信頼性分析 (reliability analysis)、経済学では期間分析 (duration analysis)、社会学ではイベント
確率・統計の基礎 — ディープラーニング入門：Chainer チュートリアル
確率・統計の基礎¶ 本節では機械学習で用いる確率論、統計学の概念や用語を解説します。 世の中には「ランダム」に起こる出来事、もしくは背景のメカニズムがわからないため「ランダム」として扱わざるを得ない出来事が存在します。そのようなランダムな出来事を理論的に扱うには、出来事そのものや、ある出来事と別の出来事の関連を数学的に記述できなければなりません。確率論ではランダムな出来事のことを事象 (event)と呼びます（厳密な定義は本資料では省略します）。 本節では、まず事象を記述する道具として確率分布を導入し、それに関連する概念（周辺確率、条件付き確率、確率変数の独立）を解説します。さらにこれらの概念を用いてベイズの定理を説明します。ベイズの定理により、ある出来事が観測された時に、その原因となる出来事が起こった確率の計算ができるようになります。 次に、確率分布の中から観測データに適合した最適な確率
Microsoft PowerPoint - 統計科学研究所_R_主成分分析.ppt
1 主成分分析 2 内容 主成分分析 主成分分析について 成績データの解析 「R」 で主成分分析 相関行列による主成分分析 寄与率・累積寄与率 因子負荷量 主成分得点 3 主成分分析 4 次元の縮小と主成分分析 次元の縮小に関する手法 次元の縮小 国語、数学、理科、社会、英語の総合点 ⇒５次元データから１次元データへの縮約 体形評価 : BMI (Body Mass Index) 判定 肥満度の判定方法の１つで、次の式で得られる。 ⇒ ２次元データを１次元データに縮約 主成分分析 5 主成分分析とは 主成分分析 多次元データのもつ情報をできるだけ損わずに 低次元空間に情報を縮約する方法 多次元データを２次元・３次元データに縮約できれば、 データ全体の雰囲気を視覚化することができる。 視覚化により、データが持つ情報を解釈しやすくなる
カイ二乗検定・適合度検定の計算法を例題から解説。確率の偏りに惑わされないための統計的検定とは｜アタリマエ！
偏りのないサイコロを120回投げても、すべての目がちょうど20回ずつ出ることは珍しいように、確率というのは全くの偶然でも多少は偏るものです。 「A,B,C,Dについて100人にアンケートをしたらCを選ぶ人が一番多かった。だからCが一番良い！」と思っても、それは確率の偏りに惑わされているだけかもしれません。 反対に、「人は無意識下にこんなバイアスを持っている」と言われたのに対して「いやいや、自分はそんなバイアスは持っていない。ただの偶然だろう」と思っても、統計を取ってみたら偶然とは考えにくいほどの差が出ているかもしれません。 確率の偏りに惑わされないためには、「今回得られた結果は確率の偏りによって偶然得られたに過ぎないのか、それとも意味のある統計結果なのか」を判断する能力が欠かせません。 その判断材料の1つとして便利なのが、カイ二乗検定(適合度検定)です。 photo credit:brow
最尤推定量とは？初めての人にも分かりやすく解説 ｜AVILEN
最尤推定量は点推定の一種で、重要な役割を果たしています。また、ベイズ推定との関係性においても議論されます。 事前の知識として、統計的推定の点推定という考え方を知っていると、理解しやすくなります。 最尤推定量とは？最尤推定量とは、文字の如く、最も尤もらしい推定量のことです。 最尤推定量の定義最尤推定量の定義は以下のようになります。 パラメータθ\thetaθに従う分布の密度関数をf(x;θ)f(x;\theta)f(x;θ)とする。尤度関数をL(θ;x)=f(x;θ)L(\theta;x)=f(x;\theta)L(θ;x)=f(x;θ)とすると、L(θ;x)L(\theta;x)L(θ;x)を最大にするような推定量θ=θ^\theta=\hat{\theta}θ=θ^をθ\thetaθの最尤推定量という。 コイン投げの例で最尤推定量を考えるでは「尤もらしい」というのはどういう意味なのでしょ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習によるデータ分析まわりのお話
Weibull distribution in reliability analysis - Minitab
変分ベイズ法の説明