動く変分混合ガウス分布（実装編）- 動く PRML シリーズ（２） - Next MIDI Project
こちらもどうぞ - 動く変分混合ガウス分布（導出編） 実装には python, SciPy と matplotlib を使います。 テストデータには Old Faithful 間欠泉データを使います。 また、データの読み込み、プロットは混合ガウス分布の際に実装したものを再利用しますので、こちらからダウンロードしておいてください。 必要な関数の読み込み はじめに、必要な関数を読み込みます。 from gmm import faithful_norm, init_figure, preview_stage from scipy import arange, array, exp, eye, float64, log, maximum, ones, outer, pi, rand, zeros from scipy.linalg import det, inv from scipy.maxent
非線形SVM - 人工知能に関する断創録
今回は、非線形サポートベクトルマシンを試してみます。線形SVM（2010/5/1）は、カーネル関数に線形カーネル（ただの内積）を使いましたが、これを多項式カーネル（A）やガウスカーネル（B）に変更します。 カーネル関数は元のベクトルxを非線形写像によって高次元空間に写像した特徴ベクトルφ(x)の内積（C）で定義されます。 一般に特徴ベクトルφ(x)は高次元空間（無限次元空間でもOK）になるので普通にやってたら内積の計算量が非常に大きくなります。そこで、特徴ベクトルφ(x)の内積を計算せずに多項式カーネル（A）やガウスカーネル（B）の計算で置き換えるテクニックをカーネルトリックと呼ぶとのこと。多項式カーネルやガウスカーネルを使うとφ(x)を陽に計算する必要がなくなります。ただ、元の空間xでの内積は必要なんですよね・・・最初は、カーネルトリックのありがたみがよくわからなかったのですが、「入力空
ソフトマージンSVM - 人工知能に関する断創録
前回（2010/5/2）のハードマージンSVMでは、データに重なりがある場合、下のようにちゃんと分類境界を求められませんでした。今回は、重なりのあるクラス分布に対応できるように拡張してみます。このようなSVMはハードマージンSVMに対してソフトマージンSVMと呼ばれます。別名としてC-SVMとも呼ばれるようです。 PRMLの7.1.1にあるように、データの誤分類を許すようにSVMを修正します。ハードマージンSVMでは、データ点がマージン内（-1 < y < 1）に絶対に入らないことを前提にしていましたが、ソフトマージンSVMでは「入ってしまったものは仕方ない、だがペナルティを与える！」と少し条件を緩めます。 まず、スラック変数ζ（ゼータ）をデータごとに導入します。スラック変数は、データが正しく分類されかつマージン境界上または外側にある場合は0、正しく分類されているがマージン内に侵入してしま
最尤推定、MAP推定、ベイズ推定 - 人工知能に関する断創録
1.2.5 曲線フィッティング再訪 1.2.6 ベイズ曲線フィッティング のところを実装してみます。前回は、最小二乗法で曲線フィッティングをしたけど、ベイズ的な方法で解こうって話のようです。この2つの節では、 最尤推定 最大事後確率（MAP）推定 ベイズ推定 という3つのパラメータ推定方法が曲線フィッティングという具体例で説明されてます。他の教科書では抽象的に定式化されていて違いがよくわからなかったけど、この章では曲線フィッティングという具体例に基づいて説明されているのでわかりやすいと感じました。 最尤推定 まず、最尤推定のプログラムです。実は、最尤推定で対数尤度（1.62）を最大化することは、最小二乗法の二乗和誤差関数E(w)の最小化と等価なのでwの求め方は最小二乗法（2010/3/27）とまったく同じです。 最尤推定では、目標値tの予測分布を求めるためもう1個予測分布の精度パラメータ（
PRML Hackathon 2 - Standard ML of Yukkuri
PRMLhttp://blog.livedoor.jp/naoya_t/archives/51379175.htmlhttp://atnd.org/events/2007PRML読書会のスピンオフ企画, パターン認識と機械学習に関する何かをするイベント第二回に参戦した. 試合時間は 9:00 ~ 17:30 の 8.5 時間ですが, 終わらなかったので夜行バスが来るまではマックで, 更に夜行バスの車内でもデバッグしてた. 隣接リストでグラフを持ってコード書いたらややこしくなって隣接行列に表現を直して, 近傍頂点の集合を安いコストで得たかったので, また隣接リストに戻したという時間の無駄をした. ひどい. 大いに反省する.お題として PRML の 9 章グラフィカルモデルのお話を選択. ループありの BP により組み合わせ最適化における b-matching を解く(あるいは b-match
EM アルゴリズム実装(勉強用) - 木曜不足
最近忙しくて*1、PRML の予習が滞り中。 しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん…… というわけで、Old Faithful の混合正規分布での推論を K-means と EM と変分ベイズについて、Ｒで実装してみる。 K-means Old Faithful + K-means については、すでに 前回の記事でお試し済み。 その記事では、イテレーションを１行で書いてネタっぽくしてしまってたので、わかりやすく整理したのが以下のコード。 距離を取るところは少し変えて短くしてある。 # Old Faithful dataset を取得して正規化 data("faithful"); xx <- scale(faithful, apply(faithful,
ゼミ納め & EM、GEM（一般化EM）、VB(変分ベイズ） - 糞ネット弁慶
というわけでゼミ納め。 CiNii 論文 - EMアルゴリズムの新展開 : 変分ベイズ法 自然言語処理のための変分ベイズ法(pdf) 変分ベイズ学習 Variational Bayes Learning(pdf) EMアルゴリズム、GEM（一般化EM）、VB(変分ベイズ)の話をした。 変分ベイズは名前だけ聞くと仰々しいけどやってることは式変形はEMやGEMと同じノリだったので、EMとGEMの式変形を何度か追えば納得できる感じ。 超大雑把な流れとしては 最適化とか使わないで最尤推定したい！→EMで値を更新していこう EMじゃ計算が糞めんどくさい項がある！→を使ってを近似しよう！（GEM） でもこれだけじゃ満足できない！！！！ 過学習とか起こりそう… モデル構造とか↑の2つじゃ決められなさそう… と言うことで、パラメータやモデル構造を確率変数として学習するベイズ学習ならいけそう！（変分ベイズ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
