PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜 - 木曜不足
放課後の学食は、普段なら常時腹を空かせた運動部の連中があちこちにたむろっているのだが、今日は珍しく先客は一人きりだった。 静かな様子にほっとしたカズは、まったり休憩でもしようとジュースを片手に奥の目立たない席を目指す。が、学食で筆記用具を広げている女子生徒の横を通り過ぎたところで突然立ち止まった。 振り返ってその先客をよく眺めると、ツインテールの頭をどこか見覚えのある黄色い本に乗せて、机に突っ伏すようにして寝ていた。カズは思わず近寄って、本の正体を確認するためにのぞき込もうとしたそのとき。 「やっぱ、わかんない！ ……って、ひゃあ!?」 「わわっ」 突然跳ね起きたその生徒は、目と鼻の先にいたカズの姿にびっくりして悲鳴を上げた。カズもやはり驚きうろたえてしまった。 二人してしばらくそのまま息をのむようにして顔を見合わせていたが、そのうちどちらともなくぷっと吹き出した。 「あはは、ごめん……す
PRML合宿まとめサイト
■上巻 第1章: 序論 序論ではまずパターン認識の最も簡単な例として多項式曲線フィッティングを取り上げ、パターン認識・機械学習の基本的な枠組みを紹介する。そしてベイズの定理や統計量などの確率論の基礎を導入し、確率論の観点から再び曲線フィッティングを扱う。不確実性はパターン認識の分野における鍵となる概念であり、確率論はこれを定量的に取り扱うための一貫した手法を与えるため、この分野における基礎の中心を担っている点で重要である。 また、回帰・識別の実際の取り扱いに際して必要となる決定理論や、パターン認識・機械学習の理論において役立つ情報理論の導入についても行う。 発表資料はこちら(ppt)とこちら(ppt)。前半では多項式曲線フィッティングの例およびベイズ的確率を、後半では決定理論および情報理論を取り扱っている。 第2章: 確率分布 第2章では二項分布や多項分布、ガウス分布といった各種の確率分布
動く変分混合ガウス分布（実装編）- 動く PRML シリーズ（２） - Next MIDI Project
こちらもどうぞ - 動く変分混合ガウス分布（導出編） 実装には python, SciPy と matplotlib を使います。 テストデータには Old Faithful 間欠泉データを使います。 また、データの読み込み、プロットは混合ガウス分布の際に実装したものを再利用しますので、こちらからダウンロードしておいてください。 必要な関数の読み込み はじめに、必要な関数を読み込みます。 from gmm import faithful_norm, init_figure, preview_stage from scipy import arange, array, exp, eye, float64, log, maximum, ones, outer, pi, rand, zeros from scipy.linalg import det, inv from scipy.maxent
PRML9章の勉強会用スライド - kisa12012の日記
PRML9章(混合モデルとEM)の勉強会用スライドを公開します。 今回のスライドは出来が悪いので参考にはなるとは思えませんが、なにか使い道があればどうぞです。 SlideShare上ではスライドのレイアウトが崩れていますが、一度pdfファイルをダウンロードして、手元の環境で表示すればレイアウト崩れは治ると思います。 （もし、ダウンロードしたファイルも文字化け・レイアウト崩れがある場合にはコメント等でお知らせいただけるとありがたいです。） スライド Prml9View more presentations from Hidekazu Oiwa. リンク prml5章の勉強会用スライド http://www.slideshare.net/kisa12012/prml5-4697969
PRML（パターン認識と機械学習） 4.1 Discriminant Function - 次世代3Dコンテントパイプライン開発室
明日の勉強会で使うスライドです。 PRML 4.1 Discriminant FunctionView more presentations from stakemura.
PRML 12章 カーネル主成分分析を R で実装(棒読み) - 木曜不足
月曜日はPCA、火曜日は確率的PCA、水曜日はPCA with EMアルゴリズム、木曜日はベイズPCA、と続いてきた「日刊☆主成分解析」も今日で最終回。 いよいよカーネル主成分分析(kernel PCA)。 カーネル PCA は非線形な特徴ベクトルで特徴空間にデータを移したところで主成分分析を行うもの。元のデータ空間では非線形な主成分解析モデルを考えていることに相当する。 以下がカーネル主成分解析を行う R のコード。 library(kernlab) oilflow <- read.table("DataTrn.txt"); result <- kpca(oilflow) # Rならカーネル主成分分析が１行で書ける！！！ oilflow.labels <- read.table("DataTrnLbls.txt"); col <- colSums(t(oilflow.labels) *
「パターン認識と機械学習(PRML)」 読書会 #14 １１章 サンプリング法 - 木曜不足
すっかり Tsukuba.R と後先になったけど、5/8 に開催された PRML マラソン、じゃあなかった、読書会 #14 に毎度ながら のこのこ参加。 参加者各位、会場提供してくださった EC ナビさん、大変遅い時間までお疲れ様でした＆ありがとうございました。 今回は 10.7 EP 法から 11.5 ハイブリッドモンテカルロまで……の予定だったが、11.4 スライスサンプリング終了時点で 21:00*1。 というわけで 11.5 は次回に繰り延べ。11.5 担当の wk さん、おつかれさまです…… そして 10.7 は担当者無しだったところを、 @ruto5 さんが資料を作ってきて説明してくれはった。大感謝。パチパチ。 10.7 EP 法は、「混合モデルに適用すると結果は良くない」＆「更新が収束する保証がない」(どちらも PRML p224)と言われてしまうと、やっぱり食指が伸びないよ
パーセプトロン - 人工知能に関する断創録
今回は、4.1.7のパーセプトロンアルゴリズムを実装します。パーセプトロンは、2クラスの識別モデルで、識別関数は式（4.52）です。 パーセプトロンは、下の条件を満たすような重みベクトルwを学習します。教師信号は、クラス1のとき教師信号+1、クラス2のとき-1（0じゃない）なので注意。 上の条件をまとめるとxnが正しく分類されているときは、 を満たします。この条件はあとでプログラム中で使います。パーセプトロンは、正しく分類されているパターンに対してはペナルティ0を割り当て、誤分類されたパターンにペナルティ を割り当てます。上の式の値はxnが誤分類されたデータの場合、必ず正になるので注意。なのでパーセプトロンの誤差関数（パーセプトロン基準）は、 で与えられます。ここで、Mは誤分類されたパターンの集合です。この誤差関数は誤分類のパターンが多いほど値が大きくなるので誤差関数を最小化するようなwを
フィッシャーの線形判別 - 人工知能に関する断創録
今回は、4.1.4のフィッシャーの線形判別を試してみました。これは、他の手法と少し毛色が違う感じがします。まず、D次元の入力ベクトルxを（4.20）で1次元ベクトル（スカラー）に射影します。ベクトル同士の内積なので結果はスカラーで、wはxを射影する方向を表します。 フィッシャーの線形判別は、射影後のデータの分離度をもっとも大きくするようなデータの射影方向wを見つけるという手法だそうです。 クラス1のデータ集合C1の平均ベクトルとクラス2のデータ集合C2の平均ベクトル（4.21）をw上へ射影したクラス間平均の分離度（4.22）を最大にするwを選択するのが1つめのポイントのようです。式（4.22）の左辺はスカラーです（フォントの違いがわかりにくい）。 wは単位長であるという制約のもとで（4.22）を最大化するようにラグランジュ未定乗数法で解くと、 という解が得られます（演習4.4）。これは、ベ
ロジスティック回帰 - 人工知能に関する断創録
今回は、ロジスティック回帰です。この方法はPRMLで初めて知りましたが、統計学の方では一般的な方法のようです。回帰という名前がついてますが、実際は分類のためのモデルとのこと。ロジスティック回帰では、クラス1の事後確率が特徴ベクトルの線形関数のロジスティックシグモイド関数として書けることを利用しています。 ここで、σ(a)は式（4.59）のロジスティックシグモイド関数です。 訓練データ集合 {x_n, t_n} （今度は、クラス1のときt_n=0, クラス1のときt_n=1なので注意）からパラメータwを最尤推定で求めます。尤度関数は、 と書けるので、誤差関数（尤度関数の負の対数）は、 となります。誤差関数を最小化するようなwを求めたいってことですね。で、普通だったら今までのようにwで偏微分して0とおいてwを解析的に求めるところですが、yにロジスティックシグモイド関数が入っているせいで解析的に
PRML 10章の変分ベイズによる混合ガウス分布推論の検証（フォロー編) - 木曜不足
「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくてもいいよ』とか書いてあるけど全然縮退しないよ。ベイズ職人でないとうまくいかないらしいよ」 「初期値について『対称性から、通常 m_0=0 とおく』と書いてあるけど、ほんとに m_0=0 にしたら、全パラメータが k に対して同じ値になっちゃうよ」 と言いふらしていたら、スクリプトのバグだった。 ので、罪滅ぼしにまじめにもうちょっといろいろ検証してみたよ、というお話。 経緯 変分ベイズ実装(PRML 10.2) https://shuyo.hatenablog.com/entry/20100306/variatio
オンラインEMアルゴリズムで混合ガウス分布推論 - 木曜不足
ずいぶん前にできていたのだが、変分ベイズのフォローのために、ブログに書くのを後回しにしてたオンラインＥＭについて。 確率的勾配法など、通常はオンラインの方がバッチより収束が遅い。 が、ＥＭアルゴリズムについては、オンラインの方が収束が速いらしい。PRML にも「この逐次型のアルゴリズムはバッチ型に比べて速く収束する」と書かれており、また論文にもそういうデータが載っている。 EM アルゴリズムを実装してみると、確かに収束が遅い。 収束し始めてから遅いのなら許せるけど、２サイクル目くらいからすでに遅い。せめて最初くらいもうちょっと速くなんないの！ と文句言いたくなる。 EM アルゴリズムの１サイクルは結構重いので、さらにその気分を助長する。 というわけで、オンラインＥＭアルゴリズムについてとても興味が湧いたので、実装してみた。 参考にしたのは Neal and Hinton の increme
PRML 読んでやってみた（上巻編） - 木曜不足
今までに書いた「 PRML を読んで、やってみた」系の記事をまとめてみた。何か参考になれば幸い。 根本的にとても疑り深い人(教科書の類に対しては特に)なので、「こんなん書いてあるけど、ほんまかいな〜？」という姿勢が目立つ。 また、よく「手触り」という言葉が出てくる。なんというか、「感触」がわからないと気持ち悪いのだ。基本的な道具類は目をつむっていても使えるのが理想、と言えば、なんとなくでもわかってもらえるだろうか。 あと、言葉使いに無駄に小うるさい(苦笑)。多くの人にとってはどうでもいいところで妙にこだわっているかも。 下巻編はこちら。 PRML 読んでやってみた（下巻編） http://d.hatena.ne.jp/n_shuyo/20110519/prml １章＆２章 特に実装とかしてない。 ディリクレ分布のパラメータが0のとき http://d.hatena.ne.jp/n_shuy
非線形SVM - 人工知能に関する断創録
今回は、非線形サポートベクトルマシンを試してみます。線形SVM（2010/5/1）は、カーネル関数に線形カーネル（ただの内積）を使いましたが、これを多項式カーネル（A）やガウスカーネル（B）に変更します。 カーネル関数は元のベクトルxを非線形写像によって高次元空間に写像した特徴ベクトルφ(x)の内積（C）で定義されます。 一般に特徴ベクトルφ(x)は高次元空間（無限次元空間でもOK）になるので普通にやってたら内積の計算量が非常に大きくなります。そこで、特徴ベクトルφ(x)の内積を計算せずに多項式カーネル（A）やガウスカーネル（B）の計算で置き換えるテクニックをカーネルトリックと呼ぶとのこと。多項式カーネルやガウスカーネルを使うとφ(x)を陽に計算する必要がなくなります。ただ、元の空間xでの内積は必要なんですよね・・・最初は、カーネルトリックのありがたみがよくわからなかったのですが、「入力空
ソフトマージンSVM - 人工知能に関する断創録
前回（2010/5/2）のハードマージンSVMでは、データに重なりがある場合、下のようにちゃんと分類境界を求められませんでした。今回は、重なりのあるクラス分布に対応できるように拡張してみます。このようなSVMはハードマージンSVMに対してソフトマージンSVMと呼ばれます。別名としてC-SVMとも呼ばれるようです。 PRMLの7.1.1にあるように、データの誤分類を許すようにSVMを修正します。ハードマージンSVMでは、データ点がマージン内（-1 < y < 1）に絶対に入らないことを前提にしていましたが、ソフトマージンSVMでは「入ってしまったものは仕方ない、だがペナルティを与える！」と少し条件を緩めます。 まず、スラック変数ζ（ゼータ）をデータごとに導入します。スラック変数は、データが正しく分類されかつマージン境界上または外側にある場合は0、正しく分類されているがマージン内に侵入してしま
混合ガウス分布の変分下界の計算式 - 木曜不足
やっぱりまじめに実装して確認しないと、ということで PRML 10.2.2 の変分下界の膨大な式、つまり (10.71)+(10.72)+(10.73)+(10.74)-(10.75)-(10.76)-(10.77) を変形＆整理していったら、打ち消しあって消えて消えて、残ったのはたったこれだけ。 \tilde{π} や \tilde{Λ} が消えただけでもすごいすごい、と思っていたが、二次形式を計算していったら W_k^{-1} が出てきて W_k と積を取って消えて、さらにそのトレースから出てきた D も H[Λ_k] の中の ν_k D/2 と打ち消しあって、消えた。 さすがにここまでうまくいくと(しかも式の形がやたらきれい)、何か間違っているんじゃあないかと不安になってきたので、晒してみる。 【追記】実装してみた。 http://github.com/shuyo/iir/blob/
PRML 読書会 #13 １０章 近似推論法(変分ベイズ) - 木曜不足
参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 4/10 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #13＠サイボウズ・ラボ に参加しました。各位お疲れ様でした。 今回のテーマは１０章の変分推論(変分ベイズ)。監訳者のしましま先生からも「PRML本で最も恐ろしいところ」とお墨付きをもらっているほどの鬼計算の章。 10.2.1 の混合ガウス分布を変分ベイズで推論する例のところを担当した。 発表資料 10.2-10.2.1 例：変分混合ガウス分布、資料後半 by id:n_shuyo 10.2.2-10.2.5 変分下限*1〜導出された分解 by wk さん 10.3 変分線形回帰 by id:tsubosaka さん 10.4-10.5 指数型分布族〜局
PRML 復習レーンが始まるよ、だって。 - 木曜不足
この前の「パターン認識と機械学習(PRML)」読書会の後の懇親会で、「いや、機械学習は PRML が初めてで、読み始める前はガウス分布も共役事前分布も何それおいしいの？ だったよ〜」と話して驚かれたことに驚いたのだが、でも本当にその通りなのだ。 PRML 読書会初参加時のブログには、まだ右も左もわかっていないことを匂わせる初々しいことが書いてあり、妙にほほえましい(苦笑 PRML 読書会に参加し始めて結構経ったように感じていたけど、初参加は昨年の６月１４日(第３回)なので、まだ１０ヶ月しか経ってなかったのかー。 そんなスタートだったけど、SIG-DMSM #12 に ちょこんと座って、何を話しているのかならだいたいわかるくらいになってきた。 これはもうひとえに PRML と読書会のおかげ(大感謝)。 もちろん、ただ漫然と読書会の席を温めていただけではなく。 予習はもちろんきっちりやって行く
最尤推定、MAP推定、ベイズ推定 - 人工知能に関する断創録
1.2.5 曲線フィッティング再訪 1.2.6 ベイズ曲線フィッティング のところを実装してみます。前回は、最小二乗法で曲線フィッティングをしたけど、ベイズ的な方法で解こうって話のようです。この2つの節では、 最尤推定 最大事後確率（MAP）推定 ベイズ推定 という3つのパラメータ推定方法が曲線フィッティングという具体例で説明されてます。他の教科書では抽象的に定式化されていて違いがよくわからなかったけど、この章では曲線フィッティングという具体例に基づいて説明されているのでわかりやすいと感じました。 最尤推定 まず、最尤推定のプログラムです。実は、最尤推定で対数尤度（1.62）を最大化することは、最小二乗法の二乗和誤差関数E(w)の最小化と等価なのでwの求め方は最小二乗法（2010/3/27）とまったく同じです。 最尤推定では、目標値tの予測分布を求めるためもう1個予測分布の精度パラメータ（
PRML Hackathon 2 - Standard ML of Yukkuri
PRMLhttp://blog.livedoor.jp/naoya_t/archives/51379175.htmlhttp://atnd.org/events/2007PRML読書会のスピンオフ企画, パターン認識と機械学習に関する何かをするイベント第二回に参戦した. 試合時間は 9:00 ~ 17:30 の 8.5 時間ですが, 終わらなかったので夜行バスが来るまではマックで, 更に夜行バスの車内でもデバッグしてた. 隣接リストでグラフを持ってコード書いたらややこしくなって隣接行列に表現を直して, 近傍頂点の集合を安いコストで得たかったので, また隣接リストに戻したという時間の無駄をした. ひどい. 大いに反省する.お題として PRML の 9 章グラフィカルモデルのお話を選択. ループありの BP により組み合わせ最適化における b-matching を解く(あるいは b-match
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
