割り算だけじゃもったいない。ベータ分布も描いてみよう。｜コグラフ株式会社 データアナリティクス事業部
こんにちは。コグラフ株式会社データアナリティクス事業部の塩見です。 コインを投げて、表が7回、裏が3回出たとすると、表が出る確率は0.7と計算できますね。しかし、このように割り算で求めた確率の値だけでは、失われてしまう情報があるのです。割り算だけではなく、表が出る確率の分布を描いて、もっと豊かな情報を手に入れましょう。 この記事のコードはGoogle ColaboratoryのPythonで動きますので、ぜひお試しください。 ベータ分布とはわかりやすい言葉で説明しますと、ベータ分布は「コイン投げにおける表が出る確率の予測分布」という解釈ができます。 表が出る確率$${\theta}$$が不明であるコインを何回か投げて、表がm回、裏がn回出たとします。このとき「表が出る確率$${\theta}$$の予測値」は、パラメータが (a, b) = (m+1, n+1) であるベータ分布に従うと考え
数学ー革新の歴史と伝統の力（学術俯瞰講義）
コーディネータ 坪井俊（理学部） ナビゲータ 緒方芳子（理学部） 現代の数学はその長い歴史に支えられている。客観的な状況の評価や合理的な意思の決定のために数学は用いられてきた。人類が様々な事象に出会うたびに、それに対応するために数学は革新されてきた。数学の論理、数の概念は長い歴史の中で何度も問い直された。座標の方法の定着、複素数の発見、微分積分の創始など、高等学校で学ぶ数学の革新の後にも、幾何学の公理、連続の概念、変換の概念などを巡り、数学者の研究は進化し、新しい理論を生み出してきた。 数学は一方でそれ自体の整合性を求め創造的革新的に発展してきたが、他方で社会との関係の中で様々な飛躍を行ってきた。前世紀には数学の抽象化、形式化が大きく進んだが、これにより数学の応用範囲は拡がった。数学は科学の基礎として人々の事象のとらえ方に大きな影響も及ぼしてきている。 このような社会との相互作用の中で
多項分布とディリクレ分布のまとめと可視化 - ★データ解析備忘録★
多項分布とその共役事前分布について、可視化をしながら整理してみたいと思います。 どちらかというと、可視化をしてパラメーターで分布の形がどう変わるのかを見ることがメインです。 多項分布とは 二項分布の一般化と考えればよいです。 「コインを投げた時の表裏の分布」が二項分布なら、多項分布は「さいころを投げて出る目の分布」になりますね。 確率密度関数は で表され、になります。。 さっきの言い方を上の式っぽく一般化すると、多項分布とは 確率 で事象が起こるような試行を回行ったとき「どの事象が何回起こったか」を表す分布です。また、のとき二項分布になります その他、平均(期待値)は 分散は となります。 ディリクレ分布とは 自然言語処理ではトピックモデルの潜在ディリクレ過程(Latent Dirichlet Allocation; LDA)でおなじみですね。 ディリクレ分布は多項分布の共役事前分布として
最適輸送本イベントに寄せて学ぶ - Stimulator
はじめに Forkwell Libraryという書籍の著者が登壇するイベントにて、最適輸送の理論とアルゴリズム (機械学習プロフェッショナルシリーズ) の佐藤さん(@joisino_)と話す時間を頂いた。 forkwell.connpass.com スライド 動画 その時に事前に学んだメモの公開と、当日のイベントの肌感を残す。 はじめに 最適輸送の理論とアルゴリズム 事前学習 何に使われているか。 何が嬉しくて使われているのか 事前、並行して読むと良いもの 触ってみる イベント当日のQ&A おわりに 最適輸送の理論とアルゴリズム MLPシリーズの書籍 最適輸送の理論とアルゴリズム (機械学習プロフェッショナルシリーズ) 作者:佐藤 竜馬講談社Amazon 最適輸送の理論的な背景から応用まで書かれている。 私個人としては、幾何や統計、測度についてお気持ちレイヤーまで分かる、機械学習、コンピュ
最適輸送入門
IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144
Probabilistic Machine Learning: Advanced Topics
Probabilistic Machine Learning: Advanced Topics by Kevin Patrick Murphy. MIT Press, 2023. Key links Short table of contents Long table of contents Preface Draft pdf of the main book, 2023-08-15. CC-BY-NC-ND license. (Please cite the official reference below.) Supplementary material Issue tracker. Code to reproduce most of the figures Acknowledgements Endorsements If you use this book, please be su
Variational Bayes and The Mean-Field Approximation
This post is going to cover Variational Bayesian methods and, in particular, the most common one, the mean-field approximation. This is a topic that I've been trying to understand for a while now but didn't quite have all the background that I needed. After picking up the main ideas from variational calculus and getting more fluent in manipulating probability statements like in my EM post, this va
KL情報量を概念的に理解する - PlayGround
KL情報量(カルバック・ライブラー・ダイバージェンス)は、確率分布どうしの距離的な尺度で、次元削減とか機械学習とかいろんなところでとってもよく出てきます。が、使うときはその意味はあまり考慮する必要はないので、今回はあえてそこを考えます。 情報量 まず、情報量について考えます。情報量というのは、情報の価値の指標です。情報の価値は、その情報が発生する確率に依存します。起こるのが珍しいほど良い情報ということです。 例えば、「宝くじが当たった」という情報は情報量が高く、「地球がまわった」という情報は情報量が低い、というようになっています。まあ、確かにレアなものほど嬉しい気はしますよね。こういったように情報量という指標をシャノンさんが定めました。具体的には次式のように表現します。 は単調増加の関数で、確率の逆数をとっているので、はが小さいほど大きくなるような量として設計されていることがわかります。こ
確率とモナドと確率的プログラミング - Qiita
この記事はADVANCED BEGINNERからCOMPETENTの方を対象読者として書かれています。 コインの裏表やサイコロの出目はよく確率変数によって表されます。確率変数が互いに依存しているようなモデルを記述する手法としてグラフィカルモデルと云うものがあります。例えば、ある分布に従って表が出る確率が偏ったコインが選ばれた後、そのコインを投げて表裏が決まるような実験を考えた場合、コインの確率変数を $X$, コインの表裏の確率変数を $Y$ とすると、この系を記述するグラフィカルモデルは このようになります。ところで $X$ は表が出る確率Double上の確率変数RVar Doubleで、 $Y$ は $X$ の結果に依存したコインの裏表Bool上の確率変数Double -> RVar Boolであると考えるとします。今コインがランダムに選ばれると言う構造を 忘れて コインの表裏が出る確
【AI Shift Advent Calendar 2022】測度による積分への（多分）最短コース part1〜測度空間と可測写像〜 | 株式会社AI Shift
TOPTECH BLOG【AI Shift Advent Calendar 2022】測度による積分への（多分）最短コース part1〜測度空間と可測写像〜 はじめに こんにちは，AIチームの下山です． 本記事は AI Shift Advent Calendar 2022 の20日目の記事です． 本記事と24日目の記事の2つで，可測空間・測度空間の定義から始めて測度による積分を最短（と個人的に思っている）で紹介しようと思います． 本記事では，事前準備として，可測空間・測度空間の定義からはじめ，可測写像の定義と可測写像に対して成り立ついくつかの性質を紹介します． 記事のスタイルとして，定義・命題とお気持ちを分離したいので，はじめに定義・命題を述べ，次にお気持ちを記述する流れで記載しようと思います． 簡単な命題については証明を与えようと思いますが，証明は基本的には別の本にお任せする形にします．
最適輸送の解き方
最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https
How to leverage optimal transport
大幅な加筆改訂を加えた最新版はこちらです： https://speakerdeck.com/eumesy/optimal-transport-for-natural-language-processing --- 最適輸送の使い方 〜最適輸送の直感的理解のための単語埋込入門 兼 最適輸送入門〜 【これは何？】 自然言語処理を中心に多くの利用例を挙げながら、最適輸送の直感的な理解を目指すスライドです。 「こんな風に使うことができるんだ… 面白い道具じゃん」「こういう使い方をしたかったらこういうキーワードで調べれば良いのね」と知識にアンカーを張ることが目的です。より深く知りたい人のための参考文献もできるだけ潤沢に加えました。 また、例として頻繁に活用する自然言語処理に馴染みがないかたのために、最初に単語埋め込みのチュートリアルをつけてあります。 【コンテンツ】 1. 単語埋込入門 … 「分布仮
Tweedie分布のパラメータを推定する - StatModeling Memorandum
@dichikaさんのブログ記事でTweedie分布の存在を知りました。Stanのメーリングリストでも「推定できないの？」という質問は過去にありましたが、多忙のBobさんからは「summing out（離散値をとるパラメータの和をとって消去）すればできるかもねー」という素っ気ない返答がありました。僕でもできたので備忘録として残します。 まずTweedie分布の紹介からします。 [1] Smyth, G. K. (1996) Regression modelling of quantity data with exact zeroes. Proceedings of the Second Australia-Japan Workshop on Stochastic Models in Engineering, Technology and Management. Technology Man
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送
2022.9.30 六甲台セオリーセミナー資料
https://twitter.com/Ohkubo2021/status/1609958353375219723
Learning the Structure of Deep Sparse Graphical Models - Paper presentation