パーセプトロン - 人工知能に関する断創録
今回は、4.1.7のパーセプトロンアルゴリズムを実装します。パーセプトロンは、2クラスの識別モデルで、識別関数は式（4.52）です。 パーセプトロンは、下の条件を満たすような重みベクトルwを学習します。教師信号は、クラス1のとき教師信号+1、クラス2のとき-1（0じゃない）なので注意。 上の条件をまとめるとxnが正しく分類されているときは、 を満たします。この条件はあとでプログラム中で使います。パーセプトロンは、正しく分類されているパターンに対してはペナルティ0を割り当て、誤分類されたパターンにペナルティ を割り当てます。上の式の値はxnが誤分類されたデータの場合、必ず正になるので注意。なのでパーセプトロンの誤差関数（パーセプトロン基準）は、 で与えられます。ここで、Mは誤分類されたパターンの集合です。この誤差関数は誤分類のパターンが多いほど値が大きくなるので誤差関数を最小化するようなwを
Chapter2.3.6
2. おさらい • ガウス分布（１次元） p( x | , ) N x | , 2 1 1 exp ( x )2 (2 2 )1/ 2 2 2 正規化係数 二次形式 μ x 3. おさらい • ガウス分布（D次元） p(x | μ, Σ) N x | μ, Σ 1 1 1 T 1 exp (x μ) Σ (x μ) (2 ) D/2 Σ 1/ 2 2 正規化係数 二次形式 Σ μ x 4. おさらい • 最尤推定 N p(x | θ) p( xn | θ) 尤度 n 1 観測データ パラメータ サンプル データが観測されたとき，そのデータが発生する確 率（尤度）を最大化するパラメータを求めること
「機械学習とパターン認識」(PRML)のアンチョコ by herumi - 木曜不足
社内で「機械学習とパターン認識」(PRML) の読書会をやっているのだけど、計算がやっぱり難しいようでみんな苦戦中。 そんなこんなで、光成さん(@herumi さん)が PRML の数式を手抜き無しで解説するアンチョコ(虎の巻 / PRML教科書ガイド)をマメに作ってくれている。*1 PRML のための数学(PDF) 内容は PRML の2章から4章と、9章、PRMLでもっとも計算が難しいと評判の10章を対象としている。 たとえば2章のアンチョコでは、2章の中で必要とされる解析や線形代数の道具(積分の変数変換、行列の各種操作)を一通り取り上げた後、ガウス分布の最尤推定における平均や分散による偏微分という、おそらく多くの人がつまづくのだろう計算がきちんと説明されている。 また3章のアンチョコでは、Woodbury の公式やヘッセ行列を解説しつつ、エビデンス関数などを導出しているし、4章になる
EM algorithm（EMアルゴリズム、Expectation Maximization algorithm）について - データサイエンティスト上がりのDX参謀・起業家
EMアルゴリズムはいろんなところで使われます。 基本的には未知パラメータの推定方法の一種です。 とりあえず箇条書でまとめます。 提案論文：Maximun likelihood from incomplete data via the EM algorithm. Dempster AP, Laird NM and Rubin DB. JRSS B. 39,1-38. 1977. 提案者のRubinは欠測分野、因果推論の権威で次の教科書も書いています。 Statistical Analysis with Missing Data (Wiley Series in Probability and Statistics) 作者: Roderick J. A. Little,Donald B. Rubin出版社/メーカー: Wiley-Interscience発売日: 2002/09/09メディア:
確率密度の最大値が変数の選択に依存する理由とは？ - OKWAVE
以下の問題がわかりません。 教えて下さい。宜しくお願い致します。 連続変数 x 上で定義された確率密度 Px(x)を考える。 x = g(y) により非線形変換を施すと密度は Py(y) = Px(x)|dx/dy| = Px(g(y))|g'(y)| の変換を受ける。 これを微分して、yに関する密度を最大にする位置yとxに関する密度を最大にするxとが、ヤコビ因子の影響により一般には単純に x = g(y) という関係にないことを示せ。これは確率密度の最大値が、（通常の関数と異なり）変数の選択に依存することを示している。線形変換の場合には最大値の位置が変数自身と同じ変換を受けることを確かめよ。 ※「確率密度の最大値が変数の選択に依存する」って辺りが謎です。
PRML 読んでやってみた（上巻編） - 木曜不足
今までに書いた「 PRML を読んで、やってみた」系の記事をまとめてみた。何か参考になれば幸い。 根本的にとても疑り深い人(教科書の類に対しては特に)なので、「こんなん書いてあるけど、ほんまかいな〜？」という姿勢が目立つ。 また、よく「手触り」という言葉が出てくる。なんというか、「感触」がわからないと気持ち悪いのだ。基本的な道具類は目をつむっていても使えるのが理想、と言えば、なんとなくでもわかってもらえるだろうか。 あと、言葉使いに無駄に小うるさい(苦笑)。多くの人にとってはどうでもいいところで妙にこだわっているかも。 下巻編はこちら。 PRML 読んでやってみた（下巻編） http://d.hatena.ne.jp/n_shuyo/20110519/prml １章＆２章 特に実装とかしてない。 ディリクレ分布のパラメータが0のとき http://d.hatena.ne.jp/n_shuy
PRML 読んでやってみた（下巻編） - 木曜不足
昨日の記事を書いて、そういえば「パターン認識と機械学習」(以下 PRML) 上巻については「やってみた」「試してみた」系の記事をまとめページを作っていたことを思い出した。 PRML 読んでやってみた（上巻編） http://d.hatena.ne.jp/n_shuyo/20100505/prml そして、これの下巻編を作るの忘れてたので、ここにまとめておこう。 基本的には PRML を読む中で、本当にそうなのかなというあたりを手を動かしてみて確かめてみたという内容。実装は主に R で、たまに Python + numpy を使っている。 専門でない人間がやっているわけで、いろいろ間違っているかもしれない点はあらかじめ(実際、変分ベイズのときは盛大に間違えてた)。 6章 カーネル法 PRML６章「ガウス過程による回帰」を R で試す http://d.hatena.ne.jp/n_shuyo
ディリクレ分布、ディガンマ関数、指数分布族、十分統計量 - yasuhisa's blog
東京ではPRML読書会の最終回があっていたらしいですが、こちらはすごく初歩的な話。 LDAのinferenceをGibbs samplingでやる話とかを紹介したので、こちらは変分ベイズでやるほう(というか元論文)を読んでいた。変分ベイズはいいんだけど、途中で出てくる (つまりはパラメータのエントロピー)がよく分からんくなっていた。ディガンマ関数はガンマ関数の対数を取ったものの一階微分で だけど、「期待値取る操作のところに何で微分のoperationが入ってくるねん!」と小一時間悩んでいたのでメモ。 指数型分布族そういえば昔のPRML読書会で指数型分布族の発表担当でレジメを作っていたようだ。 www.yasuhisay.info PRMLで出てくるような基本的な確率分布はほとんど指数型分布族に属していると考えていい(例外は混合分布くらい)。ベルヌーイもガウスも今回のディリクレも指数型分布族
機械学習 - 機械学習の「朱鷺の杜Wiki」
機械学習とは，Arther Samuel によれば「明示的にプログラミングすることなく，コンピュータに行動させるようにする科学」 のことです． 歴史的には，人工知能の研究分野の中で，人間が日々の実体験から得られる情報の中から，後に再利用できそうな知識を獲得していく過程を，コンピュータにおいて実現したいという動機から生じました． 現在では，数値・文字・画像・音声など多種多様なデータの中から，規則性・パターン・知識を発見し，現状を把握や将来の予測をしたりするのにその知識を役立てることが目的となっています． しましまの私見に基づいて，機械学習の各種の問題を整理しました． ↑ 他分野との関連† 確率論：機械学習で扱うデータは，いろいろな不確定要素の影響を受けており，こうして生じた曖昧さを扱うために利用されます． 統計：観測されたデータを処理する手法として長く研究されてきたため深い関連があります．特
2010-08-08 - nokunoの日記
Amazonにもレビューを書いたのですが、高村さんの「言語処理のための機械学習入門」を読みました。実はこの本を読むのは2回目で、1回目はドラフト版のレビューをさせていただく機会があったのですが、そのときは「言語処理研究者のための機械学習入門」というタイトルで、ちょっと敷居が高いのではないかとコメントしたら「研究者」の部分が削られたという経緯があったりしました。 それはともかくとして、以前読んだときは時間もなくて実装までする暇はなかったのですが、今度はもうちょっとじっくり読みたいなということで、このブログに書いてみようと思います。EMアルゴリズムは教師なし学習を確率モデルと最尤推定でやろうとするときに必ず出てくる手法で、隠れ変数や欠損値を含む色々なモデルに適用できる汎用的なフレームワークになっています。一般的には混合ガウス分布の場合をまず説明して、それがk-means法の一般化した形になって
nokunoの日記
引き続き東大の「創造情報学連携講義VII」より賀沢さんの課題1でもある、IBMモデル1の実装を行いました。創造情報学連携講座IBMモデル1のEMアルゴリズムを実装してサンプルデータで結果を確認せよという問題です。 #!/usr/bin/env python from collections import defaultdict def train(corpus): pair = defaultdict(float) for english, forein in corpus: for e in english.split(" "): for f in forein.split(" "): pair[(e,f)] += 1. print 'pair:', pair t = defaultdict(float) for e,f in pair.keys(): t[(e,f)] = 0.25 f
ノートの作り方（私家版） - 木曜不足
togetter.com 可積分系の研究者 takey_y さんによる、数学書の読み方、数学を勉強するときのノートの作り方。数学以外の（ちょっと難しいと感じる）科目にも応用可能と思われます。こういう骨の折れる作業を怠る人、怠らない人。これが数学や物理学を好きになるかならないかの分岐点な気がします。 Tsukuba.R #7 でたまたま「パターン認識と機械学習(PRML)」のお勉強に使っているノートを広げて話す機会があって、そんなノート作ってんのと驚かれたことに驚いたのだけど、この Togetter 見て、なんか納得した。 技術者界隈では時折「写経」って言葉が使われてるけど、本当に手でノートに写している人って実は少ないのかな。まさか本に載ってるコードを打ち込むことを「写経」とは言わんよなあ……。 逆に、他の人はどうやってこの手の本を勉強しているんだろう。 以下、自分流のノートの作り方。 PR
PRML 復習レーンが始まるよ、だって。 - 木曜不足
この前の「パターン認識と機械学習(PRML)」読書会の後の懇親会で、「いや、機械学習は PRML が初めてで、読み始める前はガウス分布も共役事前分布も何それおいしいの？ だったよ〜」と話して驚かれたことに驚いたのだが、でも本当にその通りなのだ。 PRML 読書会初参加時のブログには、まだ右も左もわかっていないことを匂わせる初々しいことが書いてあり、妙にほほえましい(苦笑 PRML 読書会に参加し始めて結構経ったように感じていたけど、初参加は昨年の６月１４日(第３回)なので、まだ１０ヶ月しか経ってなかったのかー。 そんなスタートだったけど、SIG-DMSM #12 に ちょこんと座って、何を話しているのかならだいたいわかるくらいになってきた。 これはもうひとえに PRML と読書会のおかげ(大感謝)。 もちろん、ただ漫然と読書会の席を温めていただけではなく。 予習はもちろんきっちりやって行く
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.esnips.com/doc/17d2267b-d772-4508-a5f3-8eea40fe4842/Bishop%20-%20Pattern%20Recognition%20and%20Machine%20Learning
ディリクレ分布まとめ - あらびき日記
β分布の正規化項の出し方。｜ハッタリ先生の一時避難所。
PRML読書会#12参加 - takminの書きっぱなし備忘録 @はてなブログ