『パターン認識と機械学習の学習 普及版』（PDF）『パターン認識と機械学習の学習 普及版』 PDF main.pdf (last update : 2020/01/09) 暗黒通信団へのリンク 作品紹介：パターン認識と機械学習の学習普及版 ライセンス クリエイティブ・コモンズ 表示 3.0 非移植 TeXソース https://github.com/herumi/prml/ 著者 光成滋生@herumi(herumi@nifty.com)
Pythonによるモンテカルロ法入門 - 人工知能に関する断創録
PRMLの11章で出てくるマルコフ連鎖モンテカルロ法（Markov chain Monte Carlo methods: MCMC）。ベイズでは必須と呼ばれる手法だけれどいまいち理屈もありがたみもよくわからなくて読み飛ばしていました。 最近、ボルツマンマシンを勉強していて、ベイズと関係ないのにマルコフ連鎖やらギブスサンプラーやらが出てきて本格的にわからなくなってきたのでここらで気合を入れて勉強し直すことにしました。 参考にした書籍は「Rによるモンテカルロ法入門」です。PRMLと同じく黄色い本なので難易度が高そう・・・この本はR言語を使って説明がされていますが、それをPythonで実装しなおしてみようかなーと計画中。numpy、scipyの知らなかった機能をたくさん使うので勉強になりそう。 ただRにしかないパッケージを使われると途中で挫折する可能性が高い・・・あと内容が難しすぎて途中で挫折す
共役勾配法によるロジスティック回帰のパラメータ推定 - 人工知能に関する断創録
Courseraの機械学習ネタの続き。今回はロジスティック回帰をやってみます。回帰と付くのになぜか分類のアルゴリズム。以前、PRMLの数式をベースにロジスティック回帰（2010/4/30）を書いたけど今回はもっとシンプル。以下の3つの順にやってみたいと思います。 勾配降下法によるパラメータ最適化 共役勾配法（2014/4/14）によるパラメータ最適化（学習率いらない！速い！） 正則化項の導入と非線形分離 ロジスティック回帰は線形分離だけだと思ってたのだけど、データの高次の項を追加することで非線形分離もできるのか・・・ 使用したデータファイルなどはGithubにあります。 https://github.com/sylvan5/PRML/tree/master/ch4 勾配降下法によるパラメータ最適化 2クラスのロジスティック回帰は、y=0（負例）またはy=1（正例）を分類するタスク。ロジステ
多層パーセプトロンで手書き数字認識 - 人工知能に関する断創録
多層パーセプトロンが収束する様子（2014/1/23）の続き。数字認識は前にニューラルネットによるパターン認識（2005/5/5）をJavaで作りましたが今回はPythonです。 今回は、多層パーセプトロンを用いて手書き数字を認識するタスクを実験します。今回からscikit-learnというPythonの機械学習ライブラリを活用しています。ただ、scikit-learnには多層パーセプトロンの正式な実装はない*1ため多層パーセプトロンのスクリプトはオリジナルです。今回から比較的大きなデータを扱うためなるべく高速に動作し、かつPRMLと変数名を合わせることで理解しやすいようにしました。 digitsデータ 手書き数字データは、MNISTというデータが有名です。PRMLの付録Aでも紹介されています。今回はいきなりMNISTではなく、scikit-learnのdigitsというより単純なデータセ
PRML ガール 〜とある文芸部の統計女子〜 - 木曜不足
これは「PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜」の幕間的なお話です。 未読の方は先にそちらをどうぞ。 PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜 - 木曜不足 「先輩、先輩。我らが PRML ガールの評判聞きました？」 「聞いてない」 「やっぱり気になりますよねえ。ねえ？」 「僕は別に」 「……」 「……わかったわかった。どんな評判なの？」 「評判というか苦情ですかね。『 PRML ガール言うくせに PRML 関係ないやん！』みたいな」 「まあ、情報量とエントロピーの話しかしてないし」 「『あとがきがわりの AC ガール』（暗黒通信団刊行の書籍『PRML ガール』に収録）に至っては選択公理ですからねえ。そんな評判を跳ね返すためには、紛れもなく PRML ってテーマをここらで一発取り扱っておくべきなんじゃない
多層パーセプトロンが収束する様子 - 人工知能に関する断創録
多層パーセプトロンによる関数近似（2014/1/22）の続きです。 もう少しスクリプトを改造し、実際に各重みと出力がどのように収束するかアニメーションにしてみました。ほとんどの関数は最初に急激に変化したあとだんだん収束していく様子が見てとれます。|x|は最初は誤差が減らずローカルミニマムにはまったかな？と思ったのですが、しばらく待っていたら急激に誤差が減りました。よかった、よかった。 残りは http://www.youtube.com/channel/UC4DmXhmsKZT48cRD6znEXaw このアニメーションを実行するスクリプトです。matplotlibにwxPythonを組み合わせることでアニメーションを実現しています。このアニメーションの書き方は、短時間フーリエ変換（2011/7/16）でも使いました。 次回は、数字の手書きデータを認識するニューラルネットを作りたいと思いま
多層パーセプトロンによる関数近似 - 人工知能に関する断創録
パターン認識と機械学習（PRML）まとめ（2010/8/29）の続きです。以下、つづくかも？になってましたが、2014年はDeep Learningを勉強しよう（2014/1/4）と思っているので、関連するニューラルネットワーク関係の実験結果をもう少し追記します。 今回は、PRMLの5章ニューラルネットワークの中から図5.3にある多層パーセプトロンによる関数近似をPythonで実装してみました。 上の図にあるようにxを入れたときにsin(x)の近似値を出力するようなニューラルネットワークを学習します。もっと詳しく言うと (x, sin(x)) のたくさんの組（訓練データ）を教師データとして用いて、xを入れたときにsin(x)の近似値を出力するようにニューラルネットワークの重みを更新します。 多層パーセプトロン（Multilayer perceptron） p.228にあるようにバイアスパラ
PRML Wednesday (平日読書会) と読み始める人のための参考リンク集 - 木曜不足
毎週決まった平日の夜に 「機械学習とパターン認識」(PRML) を読み進めようという PRML Wednesday のキックオフにのこのこ顔を出してきた。主催の naoya_t さん＆参加者のみなさん、お疲れ様でした＆ありがとうございました。 PRML-Wednesday : ATND ほとんど初顔の方ばかりの中で好き放題しゃべってしまい。まあ例によって反省はしていないのだけれど（苦笑）。 会であれこれ言ったこと（めんどくさいので、ここでもう一度繰り返すことはしないｗ）はあくまで「素人から出発して PRML をひと通り読み終わった個人が、その経験から感じたこと」であり、絶対の正解なんかではない。 気に入らなかったら「なるほど、お前の中では(ry」で片付けて欲しい。勉強なんて続かなかったら意味が無いので、自分が続けられる方法やスタンスを模索して選びとっていかないとしょうがないのだから。 PR
「ぷるむるクイズ☆ head-to-tail で新定理発見！？」の解答編 - 木曜不足
7/21 開催の PRML(パターン認識と機械学習) 読書会 復々習レーンにのこのこ参加してきました。主催者、発表者、参加者、そして会場を提供してくださったニフティさん、お疲れさまでした＆ありがとうございました。 PRML復々習レーン #12 : ATND なんか TokyoNLP が無くなってからまるで命の火が消えたように最近勉強会系なもの参加してないから久しぶりにどこか行くかー、うん、なんというか本当にいろいろお世話になった PRML 読書会に、せっかくだから微力ながらもわずかばかり恩返し的なことができると嬉しいよね、よく見たら復々習レーンも8章突入という「最大の途中参加チャーンス！」、「長い PRML の中で一番替えの効かない大事なとこなのにわかりにくくて、気持ちいいツッコミどころ満載！！」というタイミング的にばっちり、これはもう行くしか、みたいな感じで。 最初の内はそれでも遠慮がち
「ぷるむるクイズ☆2: tail-to-tail で話が違う！？」の解答編 - 木曜不足
下巻で一番大切な一文は p73 の「グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する」やねんって儂が言わんかったら誰が言うてくれるねん！ という使命感に思わず燃えてしまう PRML 第8章「グラフィカルモデル」(半分嘘)。 大事なことはしっかりきちんと書いてはあるんだけどいささか伝わりにくい、というのは PRML 8 章の全編にわたって共通しちゃっている。 実は「ぷるむるクイズ」第2問は、そんな「伝わりにくい大事なこと」の1つから出題していた。 ぷるむるクイズ☆2: tail-to-tail で話が違う！？ - Mi manca qualche giovedi`? 問題本文は上のリンクを参照してもらうとして、以下解答編。 - ぷるむるクイズ☆2: tail-to-tail で話が違う！？ - Mi manca qualche giovedi`? の解答 「グラ
PRML/course - 機械学習の「朱鷺の杜Wiki」
必要な事前知識† 微積分：多変量の微分や積分は必要です．ラグランジュの未定乗数法や簡単な変分も必要ですがこれらは付録に簡単な解説があります．複素数の微積分については不要です． 線形代数：3×3以上の固有値・逆行列，行列に対する微積分は必要ですが，これらについては付録に簡単にまとめられています．\(l^2\)空間やヒルベルト空間，複素数については不要です． 確率：基礎については1章で述べられていますが，確率の扱いや考えに慣れていると便利です．確率測度など公理にまで踏み込んだ知識や，統計の検定などの知識は不要です． ↑ 本書に関連する分野† 以下の分野でデータからの予測や分析が必要とされる分野 対象分野：本書と直接的な関連がある分野には次のようなものがあります． 機械学習，パターン認識，統計，データマイニング 応用分野：機械学習，パターン認識，統計的予測技術が応用されている分野には次のようなも
PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜 - 木曜不足
放課後の学食は、普段なら常時腹を空かせた運動部の連中があちこちにたむろっているのだが、今日は珍しく先客は一人きりだった。 静かな様子にほっとしたカズは、まったり休憩でもしようとジュースを片手に奥の目立たない席を目指す。が、学食で筆記用具を広げている女子生徒の横を通り過ぎたところで突然立ち止まった。 振り返ってその先客をよく眺めると、ツインテールの頭をどこか見覚えのある黄色い本に乗せて、机に突っ伏すようにして寝ていた。カズは思わず近寄って、本の正体を確認するためにのぞき込もうとしたそのとき。 「やっぱ、わかんない！ ……って、ひゃあ!?」 「わわっ」 突然跳ね起きたその生徒は、目と鼻の先にいたカズの姿にびっくりして悲鳴を上げた。カズもやはり驚きうろたえてしまった。 二人してしばらくそのまま息をのむようにして顔を見合わせていたが、そのうちどちらともなくぷっと吹き出した。 「あはは、ごめん……す
「プログラマが本当に理解するには実装しないといけない」か - 木曜不足
ジュンク堂池袋本店にて 10/11 に行われた「パターン認識と機械学習」(PRML) 愛好家の集まり、じゃあなかった、トークセッションにのこのこ行ってきた、ばかりか前でしゃべってきた。ありがとうございました＆お疲れ様でした＞各位 PRML同人誌 『パターン認識と機械学習の学習』（暗黒通信団） 刊行記念トークセッション 「今度こそわかる!? PRMLの学習の学習」 http://www.junkudo.co.jp/tenpo/evtalk.html#20121011_talk 参加して下さった上に感想までブログにしたためて下さった方には感謝感謝なわけだが、そういったブログの中で、@yag_ays さんがちょうど今気にしていたことを書かれていたので、ちょこっと紹介。 「今度こそわかる!? PRMLの学習の学習」に参加しました - Wolfeyes Bioinformatics beta 余談：
速水桃子「パターン認識と機械学習入門」
IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men
【PRML同人誌】パターン認識と機械学習の学習－ベイズ理論に挫折しないための数学（光成 滋生 著）
第1章 「序論」のための確率用語 第2章 「確率分布」のための数学 第3章 「線形回帰モデル」のための数学 第4章 「線形識別モデル」のための数学 第9章 「混合モデルと EM」の数式の補足 第10章「近似推論法」の数式の補足 第11章「サンプリング法」のための物理学 ■まえがき サイボウズ・ラボでは「言語処理に必要そうな機械学習の基礎知識を身につける」という目標のもと，2011年の2月から11月にかけて当時シュプリンガー・ジャパン（現在は丸善）から出版されていた「パターン認識と機械学習」（PRML）を輪読する社内読書会をやっていました． 「あの本」を10ヶ月足らずで一通り（すべての章ではありませんが）読みきったと言えば，そのスパルタな様子が想像つくのではないでしょうか．しかも，専門の学生ではない社会人が仕事の合間に！ 当然スムーズに読み進めるはずもなく，いろんなところでつまずくことになり
Pythonで分析や機械学習メモ - データサイエンティスト上がりのDX参謀・起業家
私はRからプログラミングに入って分析もRでやってるわけですが、ちょっと大きめのデータになるとRでは扱うのが難しくなります。そこで前々からPythonに手を出そうとしていたのですが、なかなかインストールがうまく行きませんでした。しかし、ようやくPython環境を整えることが出来たので、メモしておきます（@teikawさんにいろいろ教えてもらいました）。 Pythonのインストールは良く使われるパッケージが入っている、enthoughtやpythonxyで行うのが良いです。自分は前者のアカデミック版をインストールしました。インストールした後、環境変数の設定が必要かもしれません（以前にPython単体でインストールしたときに環境変数は設定していました）。 機械学習を実行するにあたって、今一番アツそうなのがscikits.learnというライブラリです。これはGoogle summer codeが
PRML副読本「パターン認識と機械学習の学習」を出版します | TAKESAKO @ Yet another Cybozu Labs
2010年～2011年に社内で開催した機械学習勉強会の『パターン認識と機械学習』読書会で、光成さんが素晴らしいアンチョコを作ってくれました。PDFファイルは既にgithub 上で公開されていますが、このまま埋もれさせておくのはもったいないということで、暗黒通信団の同人誌として正式に出版されることが決まりました。 ※ 表紙のデザインは今後変更される可能性があります。 目次は以下の通りです。 第 1 章 「序論」のための確率用語 1.1 確率変数は変数なのか.............................. 7 1.1.1 確率空間(Ω, F, P)............................. 7 1.1.2 σ 加法族..................................... 8 1.1.3 確率変数X..........
サンプリング法メモ - Negative/Positive Thinking
はじめに ある分布に従った乱数を生成したいことがよくあったりする(一様分布に従う一様乱数や正規分布に従う正規乱数など)。 ベイズ統計学なんかだと、自然共役事前分布が使えないような複雑な分布の場合にMCMCで分布のサンプリングをして計算したりするので、結構使う場面は多い(はず)。 ちょっと調べてみたので、メモ。(基本、PRML第11章のはなし) 一様分布からの(疑似)乱数生成 一様乱数の生成の仕方について。少し。 線形合同法 X_{n+1} = (A*X_{n}+B) mod Mという形式で乱数Xを次々に生成していく方法 C言語のライブラリで実装されているrand関数 多次元にすると均等に分布しなかったり、下位ビットがランダムじゃなかったり、といろいろ問題がある xorshift http://ja.wikipedia.org/wiki/Xorshift xor演算とビットシフトだけで生成し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これで PRML も怖くない！「パターン認識と機械学習の学習」 - あらびき日記
scikit-learn: machine learning in Python