agwのブックマーク - はてなブックマーク

はじめてのノンパラメトリック法 (ガウス過程)
こんにちはtatsyです。はじめてのMCMCもまだ少し書き足そうと思っていることがありつつですが、ノンパラベイズについて最近勉強を始めたので備忘録的に記事にしておこうかと思います。内容は、PRML本を読んでみたものの、何でこの数式が正しいか良く分からないのでプログラムを書いて実践してみようという方針で書いております。紹介してあるプログラムはPython3系 + numpy/scipy + matplotlibという環境で動かしております。ノンパラメトリック法とは？私は機械学習の専門家ではないので、少し語弊があるかもしれませんが、ノンパラメトリック法とは「無限のパラメータを持つ確率分布から適当にサンプルを得る方法」のことだと思ってます。大事なことは別にパラメータが1つのないということではないんだよということ。ガウス過程とは？集合X上に定義された関数fがガウス過程である、とはとX
agw 2014/07/19
Sampling

PRML

Programming
リンク
はじめてのMCMC (ギブス・サンプリング)
こんにちはtatsyです．前回のメトロポリス・ヘイスティングス法に引き続きギブス・サンプリングについて解説したいと思います．どうでも良い話ですが，「ギブズ」サンプリングではなく「ギブス」サンプリングなんですね．いや，本当どうでもいい話です．ちなみに前回の記事はこちらです．はじめてのMCMC (メトロポリス・ヘイスティングス法) ギブス・サンプリングとは？ M-H法ではガウス関数などのサンプリングが容易な任意の提案分布を用いました．ギブス・サンプリングではサンプリングを行いたい確率密度関数(マルコフ連鎖の不変分布になる)が特殊な形をしている場合に，より効率よくサンプリングが行えます．今，n次元空間の点xをある不変分布に従ってサンプリングしたいします．提案分布の形のことはとりあえず置いておいて，ある次元を更新するために，という提案分布を使うことを考えます．以後，を含まないということをと
agw 2014/07/19
Sampling

Random

Algorithm
リンク
はじめてのMCMC (メトロポリス・ヘイスティングス法)
こんにちはtatsyです．最近はSRMの解説記事ばかりでしたが，たまにはもう少し実践的なことを書こうかと思います．というわけで特に理由はないのですがMCMCについて解説したいと思います． MCMCとは？マルコフ連鎖モンテカルロ法(MCMC)は多次元空間内の点を確率分布に基づいてサンプリングするための方法で，最もシンプルな応用例は適当な関数と確率密度関数のペアに対して期待値を計算するというものです．積分を計算するときに，もし期待値を求めたい関数と確率密度関数の両方が分かっているのであれば，台形公式やシンプソン公式みたいな区分求積っぽいやり方をすれば良いわけです．ところが，あまり次元が高次元だったりする場合には，そもそも区分求積のようなやり方が使えない場合があります．そんなときに，ある確率密度関数に従うようなサンプル点をうまく得るための方法がMCMCです． MCMCはその名前の通り，マル
agw 2014/07/19
Random

Sampling

Algorithm
リンク
1