$\int f(x)dg(x)$（リーマン＝スティルチェス積分）について - verum ipsum factum
確率や統計の文献のなかで稀に $$ a = \int f(x) dg(x) $$ のような形（$dg(x)$の部分に注目）の積分が使われていて「？？？」となった方もいるかもしれません。$dg(x)$ではなく$dx$であれば、これは高校で習った積分 $$ a = \int f(x) dx $$ になりお馴染みの形になりますが、$dg(x)$とは見慣れない形です。 実はこの積分は、リーマン＝スティルチェス積分（Riemann Stieltjes integral）と呼ばれ、リーマン積分（高校で習った積分の正式名）を拡張したものです*1。 この記事では、リーマン＝スティルチェス積分の定義と確率学への応用について簡単に紹介します。なお、数学的な厳密性については無視しています。 リーマン＝スティルチェス積分の定義 高校で習った積分の定義を少し一般化するとリーマン＝スティルチェス積分の定義になります。
ガウス分布の導出
偶然誤差の性質から確率論や統計学でよく用いられるガウス分布（正規分布）を導出してみよう。 真の値 \(X\) をもつある量の測定を行うことを考える。この測定には系統誤差は含まれず、偶然誤差のみが発生するものとしよう。偶然誤差については経験にもとづく次のガウスの公理がある： 大きさの等しい正と負の誤差は等しい確率で生じる。 小さい誤差は大きい誤差より起こりやすい。 ある限界値より大きな誤差は実際上起こらない。 さて、具体的にある測定を実施することで得られた測定値を \(x\) とすると、そのときの誤差 \(\varepsilon\) は \begin{equation} \varepsilon = x - X \label{error} \end{equation} で与えられる。ある大きさの偶然誤差が発生する確率を誤差 \(\varepsilon\) の関数とし、その確率密度関数を \(f
多変量正規分布を理解する
統計学で頻出の正規分布ですが,1変数はわかるのに多変数になると初見は面食らいます. ２変数の場合を例に上げながら多変量正規分布の数式の理解を目指したいと思います. 目次【本記事の内容】 多変量正規分布 \(n=2\)における式展開 多変量正規分布 まず,１変数の正規分布の定義式を眺めてみます. １変数正規分布$$f(x) = \frac{1}{\sqrt{2\pi \sigma^2}}exp \left \{-\frac{(x-\mu)^2}{2\sigma^2} \right \}$$ この式を見れば,平均が\(\mu\)で,データのばらつき具合を表す分散が\(\sigma^2\)だと分かります. 指数関数\(exp\)の前に付いている係数\(\displaystyle \frac{1}{\sqrt{2\pi \sigma^2}}\)は全区間\(-\infty 〜 \infty\)で積分
Taiji Suzuki's Homepage (鈴木大慈)
Department of Mathematical Informatics Graduate School of Information Science and Technology The University of Tokyo Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan Room: Room No. 352, Faculty of Engineering Building 6 (map) Postal Address: Hongo 7-3-1, Bunkyo-ku, Tokyo 113-8656, JAPAN Phone: +81-3-5841-6921 E-mail: Topic Online Asian Machine Learning School (OAMLS) 2021 "Deep Learni
超曖昧語「母集団」「標本」にケリをつける - 檜山正幸のキマイラ飼育記 (はてなBlog)
曖昧・多義的に使われている専門用語は全然珍しくありません。確率・統計の分野でも、たくさんの曖昧語・多義語が登場します。そのなかでも、特に曖昧性がひどく、意味不明の四天王だと僕が思っている言葉は、 確率変数 分布 母集団 標本 です。どれも手強くて、「四天王の中でも最弱」とか「最強」とかの順位付けは難しいです。 *1 「確率変数」については何度も話題にしています。2つだけ過去記事を選ぶなら： 「確率変数」と言うのはやめよう 「確率変数」の正体は米田埋め込み 「分布」に関しては： 確率・統計の「分布」の意味と使用法 心が安らぐ「分布の空間」を定義してみる 今回この記事では、残る2つの超曖昧語「母集団」「標本」について、出来る限りの解明を試みます。中心的話題は、「標本」に対するまったくかけ離れた2つの定義を結びつけることです。2つの定義を結びつけるために、「独立ベキ測度の前送り定理」を紹介します
確率統計-機械学習その前に v2.1
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
事後分布を理解する – 環境マーケティング論分野
このようにどんな$p$を想定するかで尤度は異なる。ならば、尤度が最も高い$p$が最も尤もらしいと考えてよいのではないか？ この考え方が最尤法（さいゆうすいてい method of maximum likelihood）あるいは最尤推定（maximum likelifood estimation, MLE）。これで求められた$p$が最尤推定量（maximum likelihood estimator, MLE） 例の尤度は、 $$\Pr(y=(1,1,0|p)=p^2(1-p)$$ でした。これを最も大きくする$p$は？ $f(x)=x^2(1-x)$のグラフを描いてみるとこんな感じ。 このカーブが一番高くなっている横軸の値が最尤推定量ということ。しかし、図では正確な値はわからないので計算してみる。 尤度$\Pr(y|p)=p^2(1-p)$の傾きが0になっているところが一番大きいのだから、
藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定 - Qiita
藤井四段の連勝が止まらないですね。 21日の対局に勝利して、連勝記録を１位タイの28連勝まで伸ばしてきました。26日の対局で勝利すれば単独トップになります。 そんな藤井四段の対戦成績は28勝0負。勝率でいうと1.000です。クラクラするような成績ですが、この「勝率」とは何かを少し数学的にみてみましょう。 単純に言葉だけをみると「藤井四段が勝利する確率」ではないかと考えられます。つまり $$P(\text{勝利}\ |\ \text{藤井四段}) = 1.0$$かのように感じます。 ではここで、26日の対局で藤井四段が勝利する確率はどれだけでしょう？ $P(\text{勝利}\ |\ \text{藤井四段}) = 1.0$として考えると、これはつまり藤井四段は必ず勝つので、100%になってしまいます。しかし、もちろんそんなことはありません。藤井四段ですらも負けることはあるはずです。 実はここ
なぜ統計学には主義が必要なのか - hidekatsu-izuno 日々の記録
前回「ベイズ統計学に関する議論を整理する」では、できるだけ中立的な視点で書くことに注力し、伊津野なりの結論については特に書かなかった。今回のエントリでは、様々な見解や調べた結果を元に私見を書く。 もちろん、伊津野は専門家ではなく、情報や理解が不足する部分については想像で補ったため「それはおかしい」と感じられる点もあるだろう。そのような記述を見つけたら、単に批判を書くのではなく、なぜ問題だと思うのか、自身のブログやTwitterなどで他の人間にも理解できるように論点を明確に書くようにしてほしい。うんこの投げ合いはうんざりだ。それに、コメント欄に批判や反論を書かれても、伊津野の理解力では適切な回答ができるとは思えない。広い範囲に意見を投げかけた方がより専門的な回答が得られ生産的だろう。*1 前置きが長くなったので本論に移ろう。 まず先に結論を述べる。現在、ベイズ統計学は「（頻度主義とは異なる）
ベイズ統計学に関する議論を整理する - hidekatsu-izuno 日々の記録
最近、「統計学を哲学する」の出版をきっかけとした Twitter 上の議論を追いかけながらベイズ統計学について調べている。 統計学を哲学する 作者:大塚 淳発売日: 2020/10/26メディア: 単行本（ソフトカバー） 前々からベイズ統計学については興味があったので、議論を追ったら何かしらの理解を深められるのでは、と思い関連するツィートを読んでみたのだが、これがびっくりするほどわからない。 通常「わからない」と書いたら高度な数学的議論が繰り広げられているからわからない、という意味だと思われるかもしれないがそうではない。そもそも何が論点なのかもはっきりとせず、議論らしき議論も行われず、ほとんどうんこの投げ合いと呼んでもいい状況だったのだ。 なるほどこれが「頻度主義 vs ベイズ主義」の対立なのかと思いもしたのだが、もやもやが残ったこともあり、議論の内容は理解できなくても論点整理くらいはでき
測度論がちょっと分かった気がする ～完全加法族から可測関数まで～ - ペンギンは空を飛ぶ
私が初めて測度論を勉強したとき、それはルベーグ積分の準備として勉強したのだが、なんだか良く理解出来なかった覚えがある。 測度論がやろうとしていることはなんとなく分かる。一番最初のモチベーションは、やはり面積や体積のような概念を数学的に厳密に定めることだろう。そうすることで、いくつかのへんてこな集合に対しても面積や体積のようなものを考えることができたり、逆に面積や体積を与えることが出来ない集合がどんなものかが分かったりする。 しかし、これはどうやらルベーグ測度と呼ばれるものの話であり、一般に測度というともっと抽象的なものを指すらしい。では、測度とは一体何なのだろうか？ 次なる疑問として、測度の議論の中では完全加法族、可測集合、可測関数などといったキーワードが必ず登場する。これらは一体何者で、測度とどういう関係があるのだろうか？ また、ルベーグ測度に話を限ると、外測度までは理解できる。集合を区
尤度とはなんだったのか
TL;DR Ubie という会社で働いていて尤度とかを改めて見直す機会があったのでブログにまとめておく 尤度主義のような、自然と使っていたが明示的には知覚できてなかったものの存在を知った 主義や哲学に関しても言及するが、それらの良し悪しについて述べるものではない 4/1 から Ubie という会社に入社して、データ分析的な仕事やコードを書いたり楽しく働いている。 保有するデータのそのものが面白くて、今のところ主にこれを改善していくところに関わっていて、機械学習的な内容はあまりやっていない。 仕事をしていると尤度とかよく使うが、使っているうちにこれまで雑に理解してた部分が散見されたので、そもそも尤度とはなんだったのかをちょっと復習している。 色々調べていくとだいぶ広くて深いところに入り込んでしまいそうになるので、現在の理解を一部ブログにて整理しておこうというのがこのエントリである。 技術的に
事前確率，事後確率，尤度，．．． - keisukeのブログ
確率と統計の基礎(事前確率，事後確率，尤度，ベイズの法則，...)を勉強していると，何度も何度も見たことがある説明がなんとなく理解しづらく，難しく思えることがよくあります． 例えば， 「 が与えられたとき となる確率を と書き，事後確率と呼ぶ．」 という文章はあらゆるところで見かけると思います． もちろん確率を勉強した人であれば何度も見た文章なので理解が難しいものではないのですが，それでもこの文章に「尤度」やら「事前確率」やら「カルバックライブラダイバージェンス」やらが混じり始めると，どこかで理解のほつれが出始めることがよくあると思います． 先ほどの文章の何が問題かというと， は「yの事後確率」であって「xの事後確率」ではない点です． xに事後確率が存在しないわけではなく，この場合だと はxの事後確率です． 丁寧に説明されている場合は， 「 が与えられたとき となる確率を と書き， の事後
【数学】「検査で陽性だった人が実際に病気である確率は数%程度」とかいうやつ、何？ - アジマティクス
「精度99%の検査で陽性だった人が実際に病気である確率は数%程度」とかいう話、聞いたことがある人もいるかと思います。 「1000人に一人がかかる病気があり、あなたはこの病気かどうかを精度99%で判定できる検査を受けたところ、なんと陽性であった。あなたが実際にこの病気にかかっている確率はいくらか」というやつのことです。 「陽」という字にポジティブな響き※があるので、いい意味だったか悪い意味だったかちょっと迷ってしまうかもしれませんが、「陽性である」というのは「検査したら反応が出る」というくらいの意味です。※響きも何も、「ポジティブ」なんですけどね… ウイルス感染症のPCR検査のケースで言うならば、陽性であるとは「検体（採取した粘膜や痰などのこと）から基準を超えた量のウイルスの遺伝子が検出される」ということになるでしょうか。 で、あなたは陽性だったわけです。初めてこの話を聞いた人ならいやそりゃ
ポアソン分布とは何か。その性質と使い方を例題から解説 【馬に蹴られて死ぬ兵士の数を予測した数式】｜アタリマエ！
1年あたり平均0.61人の兵士が馬に蹴られて死ぬ軍隊において、「1年に何人の兵士が馬に蹴られて死ぬかの確率の分布」を求める。 それが、歴史上で初めてポアソン分布が使われた事例だと言われています。 以来、ポアソン分布は主に「ランダムに起きる事故・病気の発症」などにおいて「特定の期間中に何回起こる確率が何%あるのか」を可能な限り正確に把握することで、適切なリスク管理を行うのに活躍しています。 photo credit:Moyan Brenn ポアソン分布とは？ポアソン分布とは、(どの時点でも同様な起こりやすさでランダムに起こる現象と仮定した場合に)「単位時間あたりに平均 λ 回起こる現象が、単位時間に k 回起きる確率」を表すのに使われる確率分布のこと。 この「単位時間あたりに平均 λ 回起こる現象が単位時間に k 回起きる確率」は多くの場合、以下の式で表されることが分かっています。 この式は
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【徹底解説】正規分布とは | Academaid
正規分布の式の導出 | Alumi Official Website
確率の期待値から掴むルベーグ積分 - どすえのブログ
トップページ