サンプリングによる近似ベイズ推論 その3（MCMC:ギブスサンプリング） - 機械と学習する
【概要】 ベイズ推論について実装して理解するシリーズ 今回は、MCMCアルゴリズムの一つであるギブスサンプリングです ギブスサンプリングによって線形回帰（ベイズ線形回帰）を近似推論してみました 【目次】 はじめに 近似ベイズ推論 ギブスサンプリング (Gibbs Sampling) ギブスサンプリング のアルゴリズム ギブスサンプリングによる確率分布の近似推論の実装 2次元ガウス分布の近似推論 近似解 ベイズ線形回帰の近似推論 モデル サンプルデータ 解析解 近似解 線形回帰問題の条件付き分布の導出過程メモ 実装コード全体 おわりに 参考文献 はじめに ベイズ推論についての書籍を読んでいると、なんとなく理解はできても具体的なイメージってつきにくくないですか？ ということで、実装して理解を深めていきたいと思います。 本記事ではベイズ推論における近似推論について扱います。 ベイズ推論では「MC
スライド 1
第11章 サンプリング法 B4 近松京介 原さん(東北大助教授) ドクターのときの原さんのパワポ改良ましまし版 11章の内容 • 基本的なサンプリングアルゴリズム – 棄却サンプリング・適応的棄却サンプリング – 重点サンプリング – SIR – サンプリングとEMアルゴリズム – データ拡大アルゴリズム • マルコフ連鎖モンテカルロ – Metropolis-Hastingsアルゴリズム • ギブスサンプリング • スライスサンプリング • ハイブリッドモンテカルロアルゴリズム 1 目次 • MCMCを使わないサンプリング – 逆関数法 – 棄却サンプリング – 適応的棄却サンプリング – 重点サンプリング – SIR • MCMCサンプリング – メトロポリス法 – ギブスサンプラー 2 今回の目的 • そもそもサンプリングとはなにか理解する • サンプリング手法を概観・整理 •メトロ
二封筒の問題
問題： スワミ（ヒンズー教の坊さん）が，一つの封筒に $x$ 円，もう一つの封筒に $2x$ 円を入れ，一方をあなたに，もう一方を相手に渡した。どちらの封筒を渡される確率も 1/2 である。あなたが封筒を開けたら $y$ 円入っていた。相手の封筒の中身を $Y$ とする。あなたは考えた。封筒は等確率で渡されたのだから，確率 1/2 で $Y = y/2$ または $Y = 2y$ のはずだ。その期待値 $(1/2)(y/2 + 2y) = 5y/4$ は，あなたの封筒の中身 $y$ より明らかに大きい。あなたは目をキラリとさせて，相手に封筒を交換しようと持ちかけた。相手も同じ計算をして，同意した。 この問題は Ronald Christensen and Jessica Utts, Bayesian Resolution of the "Exchange Paradox", The Ame
Latent Dirichlet Allocation (LDA) ゆるふわ入門
NLP 2013 の時期ですね。たぶんギリギリ NLPer の端くれの端くれの身としては参加したい気持ちも山々なのですが、いろいろあって今年は参加しないことにしました。 NLP 2014 は参加しようと思うので来年はかまってやってください。 ときに、私が NLP を勉強し始めた頃はかな漢字変換や音声認識で文脈を考慮して推定したいなぁみたいなことを考えていたので言語モデル、中でもトピックモデルに興味を持っていました。 っで、トピックモデルと言ったら Latent Dirichlet Allocation (LDA) じゃないですか？Blei 先生の論文読むじゃないですか？意味不明じゃないですか！？ そもそもディリクレ分布って何？な人だったので・・・。ディリクレ分布まとめ - あらびき日記 とかその時の痕跡ですね。 PRML の上巻を読んでちょっとベイズな考え方に慣れて LDA も理解できてき
LDA（潜在的ディリクレ配分法）まとめ 手法の概要と試行まで – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 【目次】 ・トピックモデルとは ・トピックモデルの歴史 ・トピックモデルでできること ・トピックモデルを理解するために必要な知識 ・トピックモデルの手法について ・トピックモデルの実行方法について（R言語） ・トピックモデルの評価方法について ・Correlated Topic Models (CTM)について ・PAM:Pachinko Allocation Modelについて ・Relational Topic Models(RTM)について ・参考文献 トピック
コーシー分布とその期待値などについて | 高校数学の美しい物語
標準コーシー分布の確率密度関数のグラフは図のようになります。 正規分布と同じく左右対称な分布です。1π\dfrac{1}{\pi}π1 は正規化定数です。 （∫−∞∞dx1+x2=π\displaystyle\int_{-\infty}^{\infty}\dfrac{dx}{1+x^2}=\pi∫−∞∞1+x2dx=π に注意） 標準コーシー分布を一次変換したもの（確率密度関数が f(x)=1πγ{1+(x−μγ)2}f(x)=\dfrac{1}{\pi\gamma\{1+(\frac{x-\mu}{\gamma})^2\}}f(x)=πγ{1+(γx−μ)2}1 である分布）を一般にコーシー分布と言います。 コーシー分布は物理ではブライト・ウィグナー分布やローレンツ分布とも呼ばれます。いろいろな名前がついていますね。
隠れマルコフモデル 入門 - 株式会社カブク
株式会社カブクで、機械学習エンジニアとしてインターンシップをしている堀内貴文（大学4年）です。 このKabukuDevBlogのテーマは、「隠れマルコフモデル」です。 時系列パターンの認識に用いられることが多く、具体的な使用例としては次のようなものがあります。 – 音声認識 – 自然言語処理（品詞推定） – バイオインフォマティクス（塩基配列の解析） – 株価の変動予測 近年ではRNN（Recurrent Neural Network）などの人工ニューラルネットワークの発展を受け、隠れマルコフモデルはこれらに置き代わりつつあります。けれども、出力結果の導出過程が明瞭化されているなど、古典的な手法としての利点もまだまだあります。 この記事では、「隠れマルコフモデル」について初めて勉強をする人が、「隠れマルコフモデル」が何であるかのイメージをつかむことを目標に、基本的な事項を記述します。 前半
ベイズ推定の簡単な例と利点 | 高校数学の美しい物語
ゲストが男性なのか女性なのかを当てるクイズを考えます。 過去の経験 このクイズは過去何度も行われており，過去のデータによるとゲストが男性である確率は60%，女性である確率は40%であることが分かっています。 新たに得たデータ 今日のゲストは身長が165cm以上であるというヒントが与えられました。ただし，この世の中では男性の7割が165cm以上，女性の2割が165cm以上とします。 身長が高いという情報により，男性である確率は事前のデータである60%よりも高いと予想できます。目標は「過去の経験」と「新たに得たデータ」をもとに今日のゲストが男性である確率を推定することです。 過去の経験 XXX をゲストが男（man）か女（woman）かを表す確率変数とします。 P(X=m)=0.6P(X=\mathrm{m})=0.6P(X=m)=0.6 ，P(X=w)=0.4P(X=\mathrm{w})=
Python networkx でマルコフ確率場 / 確率伝搬法を実装する - StatsFragments
ここ 1ヶ月にわたって 聖書 DeepLearning 0.1 Documentation を読み進め、ようやく 制約付きボルツマンマシン の手前まできた。 制約付きボルツマンマシン (RBM) の解説 には RBM = マルコフ確率場 ( Markov Random Field / MRF ) の一種だよっ、と しれっと書いてあるのだが マルコフ確率場とはいったい何なのかは説明がない。マルコフ確率場 <マルコフ・ランダム・フィールド> は用語もカッコイイし結構おもしろいので、 Python でサンプルを書いてみる。 補足 Python では PyStruct というパッケージがマルコフ確率場 / 条件付き確率場 ( Conditional Random Field ) を実装しているため、実用したい方はこちらを。このパッケージ、ノーマークだったがよさげだなあ。 マルコフ確率場とは グラフ
EMアルゴリズムの基礎をまとめる - エンジニアを目指す浪人のブログ
機械学習でよく用いられるEMアルゴリズム(expectation-maximization algorithm ; EM algorihm)を勉強していると，その目的あるいは用途として「観測変数と(観測できない)潜在変数がある確率モデルの尤度関数を最大化するパラメータを求める」と説明されている場合を目にします．よく用いられる応用としては正しそうですが，もう少し広いクラスにも適用可能かどうかという点にモヤモヤしてしまいました．また，対数尤度の更新毎の単調性の証明も知りたいと思いました．それらの点を含めた，確率モデルの具体例には踏み込まない抽象的なレイヤーにおけるEMアルゴリズムの基礎について，調べてまとめることにしました． 文献[1]がとてもわかりやすいのでそれをベースにしてまとめますが，類似の文献[2]も参考にしています． =================================
投稿１６９ 日常の中の曲率 Ｓ．Ｈ氏
平素はSo-netをご利用いただき、誠にありがとうございます。 このたび、誠に勝手ながら、2021年1月28日(木)をもちまして、「U-page+」サービスの提供を終了させていただくこととなりました。 サービスをご利用いただいておりますお客さまには、ご迷惑をおかけすることを深くお詫び申し上げますとともに、これまでのご愛顧に厚くお礼申し上げます。 記 ■提供終了サービス名 U-Page+ ■提供終了日 2021年1月28日（木） 15:00 提供終了日以降、お客さまのWebコンテンツの表示、FTPからのデータダウンロードができなくなります。 ■解約のお手続きについて 2021年1月28日(木)をもって自動解約となりますので、お客さまご自身での解約のお手続きは必要ございません。 サービス終了日以前に解約をご希望のお客さまは、解約のお手続きが必要です。 下記のWebページよりお手続きください。
ベイズの公式は地味に難しいので、確率の乗法公式を2回使おう - 木曜不足
ベイズの公式はこんな形をしている。 これは実際に使おうと思ったら、意外と難しい。 例えば PRML (5.164) 式はこうなっている。 これをベイズの公式から出そうとしたら X と Y をどうしたらいいのやら。いや、なんか X と Y に当てはめようがないのもあるぞ。 そもそも「ベイズの公式を正しく憶える」のもなにげにハードルが高い。えーと、X と Y と X|Y と Y|X のどれが上で下で……。 でも、確率の乗法公式を2回使う方法なら、簡単。 まず同時分布を見極める。 上の (5.164) 式の右辺 p([A]|・)p([B]|・) の [A][B] の位置に出てくる変数に注目しておいて欲しい。 同時分布の確率変数は [A] と [B]、つまり w と D であり、残りは given なパラメータ or 変数なので、 がここで注目したい同時分布。 次はこの同時分布を [A] に使われ
さまざまな確率分布 probability distributions - 数理的思考 - 中川雅央 【知と情報の科学】
さまざまな確率分布 probability distributions - 数理的思考 - 中川雅央 【知と情報の科学】 ■ さまざまな確率分布 (probability distributions) 観測される現象は，確率的に変動するものが多いと考えられます．その観測されたデータを説明する統計モデルに，どの確率分布を使えばうまく説明できるでしょうか． 正規分布や二項分布など，確率分布の種類は数多く，いろいろなカタチ（分布形）があります．確率分布の当てはめを考えるには，そのカタチ（分布形）を知ることが重要です．各確率分布の母数（パラメータ）によってそのカタチ（分布形）が決まります．確率変数には離散型と連続型があり，その範囲もさまざまです． このページは，代表的な確率分布について，それらを比較・検討しやすいように母数（パラメータ）やグラフ等を一覧表にまとめたものです． 1. 離散型確率分
KURENAI NO SYSTEM
はじめに 人は失敗してしまうと、また失敗するかもしれないと恐怖にフォーカスし、自分の可能性に限界を作ってしまうものです。人生というのは悪いことも起こります。 しかし、あなたの意味付けによって、人生を変える可能性もあるのです。行動こそ結果を生む唯一の方法です。 完全自動売買システム 投資において、ほとんどの皆さんが最初は裁量トレードから始められると思います。 一部の方は裁量トレードで良い成績を残しますが、多くの方はそこで損をしてしまうのではないかと思います。 なぜ損をするのかといえば、売買のルールが明確でないからです。 利益が乗ってくると一刻も早く売りたくなり、また逆に損がかさんでくると塩漬けにしてしまったりします。 システムトレードというのは、ある一定のルールに基づいた取引を繰り返すトレードで、そこには人の感情を一切排除できるという利点があります。 完全自動売買システムとは、人間による一切
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lecture Notes in Math. (Univ.)
2014/08 [Minitab社コラム] アクシデントを予測する – 構造計画研究所 Minitabサポートセンター
Khan Academy
大矢建正のページ（数学，数楽 ＆ プログラム）
サービス終了のお知らせ
火曜日生まれの男子の問題
