第9回PRML読書会 - 遥かへのスピードランナー
土曜日はサイボウズ・ラボで行われた第9回PRML読書会に参加しました。 自分は発表者トップバッターでSVMの基本的なところを説明しました。 参加者の方からもいろいろ指摘をいただきました。 なぜマージンを最大化するとよいのか？の説明で『まず２値に分類された学習データをガウスカーネルでのParzen推定を適用して入力の分布を推定する。誤分類が最小になる分類平面は、ガウスカーネルの分散を→０の極限において、マージンを最大化する分類平面に一致する』とあるが、なぜ分散を０に近づけるのかがわからない。 そういうものとして理解するしかない？理論的な説明はまだ分からずです。。 Randomized Algorythmを適用してSVMの計算を高速化する手法がある。 ちょっとググってみたところこの辺ですかね。いろいろと制約はるみたいですがO(log n)で二次計画問題の近似解が求まる！ biasをゼロと仮定し
Publications
Papers 「潜在的正規分布によるイベントの時間関係の推定」. 船曳日佳里 (お茶の水女子大学), 持橋大地, 浅原正幸, 小林一郎. 言語処理学会第30回年次大会A5-5, 2024. (NLP2024 委員特別賞) 「語形の分布状況のベクトル化による言語地図の分類方法」. 近藤泰弘(青山学院大), 持橋大地, 言語処理学会第30回年次大会D5-1, 2024. 「木構造自己注意機構による教師なし統語構造解析」. 成田百花(お茶大), 持橋大地, 小林一郎(お茶大), 言語処理学会第30回年次大会D3-3, 2024. 「意味変化分析に向けた単語埋め込みの時系列パターン分析」. 木山朔, 相田太一(都立大), 小町守, 小木曽智信, 高村大也, 松井英俊, 持橋大地, 言語処理学会第30回年次大会E9-2, 2024. 「Hol-CCG構文解析と拡散モデルの統合による構文構造を陽に考慮
MNISTをSURFを使ったbag of keypointsで - デー
とにかく早く動かす欲で半分くらい想像でやってしまったので、誤りがあれば指摘などなど。 SURFとは！ SURFは回転とスケールに不変な特徴点検出アルゴリズムで、keypoints(点の位置とスケール)とdescriptor(正規化された勾配のヒストグラム)を得ることができる。 このdescriptorsを画像の局所的な(画像パッチの)特徴ベクトルと考えると、画像に含まれるSURF Descriptorの集合を(十分大きければ)画像のidentificationとすることができる。 大まかな内容 MNISTの学習データからSURF Descriptorを抽出する ベクトル量子化のためのコードブックを作成する 抽出したSURF Descriptorをk個にクラスタリングする 各クラスの重心をコードベクトルとし、クラスをvisual-wordという単語の単位にする 画像をグローバルな単語の集合と
カーネル多変量解析 - DO++
タイトルの本を買って読んでみた． カーネル多変量解析―非線形データ解析の新しい展開 (シリーズ確率と情報の科学) サポートページ 様々な解説記事で定評のある赤穂先生によるカーネル法による解析についての本。日本語で読めるカーネルに関する本としては、導入部の丁寧さと、そのあとの展開と深さ、最新の話まで抑えている点でお勧めだと思います。カーネルの性質、汎化性能とかはもちろんのこと、例えばカーネルk-means, スぺクトラルクラスタリング、（ちょっとだけ）Gaussian Process, Leave-one-outの閉じた式、L1正則化など、他の和書ではあまり見たことない内容が多く、中身が濃いです。ただ、これらは、どれもさーっとかいて気持ちがわかって、詳しくは参考文献を見るという感じです。まぁ、それだけ詰め込んでいるから仕方ないですね。 -- カーネル法とは、なんらかの対象を解析するときに、対
オンラインEMアルゴリズム - DO++
EMアルゴリズム（Expectation Maximizationアルゴリズム、期待値最大化法、以下EMと呼ぶ）は、データに観測できない隠れ変数（潜在変数）がある場合のパラメータ推定を行う時に有用な手法である。 EMは何それという人のために簡単な説明を下の方に書いたので読んでみてください。 EMのきちんとした説明なら持橋さんによる解説「自然言語処理のための変分ベイズ法」や「計算統計 I―確率計算の新しい手法 統計科学のフロンティア 11」が丁寧でわかりやすい。 EMは教師無学習では中心的な手法であり、何か観測できない変数を含めた確率モデルを作ってその確率モデルの尤度を最大化するという枠組みで、観測できなかった変数はなんだったのかを推定する場合に用いられる。 例えば自然言語処理に限っていえば文書や単語クラスタリングから、文法推定、形態素解析、機械翻訳における単語アライメントなどで使われる。
しかしSVMも最近は速いらしい - 射撃しつつ前転 改
Complement Naive BayesがSVMより速いよーと主張していたので、SVMもなんか最近は速くなってるらしいよ、という事を紹介してみたい。近年はSVMなどの学習を高速に行うという提案が行われており、実装が公開されているものもある。その中の一つにliblinearという機械学習ライブラリがある。ライブラリ名から推測できる通り、liblinearではカーネルを使うことが出来ない。しかし、その分速度が速く、大規模データに適用できるという利点がある。 liblinearを作っているのはlibsvmと同じ研究グループで、Chih-Jen Linがプロジェクトリーダーであるようだ。libsvmはかなり有名なライブラリで、liblinearにはそういった意味で安心感がある。（liblinearの方は公開されてしばらくは割とバグがあったらしいけど。） liblinearにはL1-SVM, L
SVMの学習用アルゴリズムSMOを実装してみる - きしだのHatena
SVMは２次最適化問題になるので、それを勉強してみてはということだったのですが、SVMに特化したSMO(Sequential Minimal Optimisation)アルゴリズムがあるということなので、そちらをやってみました。 SVMの制約条件に というのがあって、yiは正例なら1、負例なら-1となる値なのですが、そうすると、ようするにこの条件は、正例のαの合計と負例のαの合計が等しくなるということを示してるわけです。 この条件をつかうと、ひとつαを操作したときには、ほかのαを操作して、正例と負例のバランスを取る必要があることがわかります。 で、このことを利用して、同時に２つのαを操作することにすると、解析的に一つ目のαが求められて、２つ目のαはそこから足し算引き算で求められてお徳かも、というのがSMOの考え方です。 問題は、いかに効率よく更新する２つのαを決めるかということになります。
Rでガウス過程による分類を実装 - 遥かへのスピードランナー
PRMLの6.4.5〜6.4.6の範囲にあるガウス過程による分類をRで実装してみました。 ソースコード全文はgithubにアップしています。 http://github.com/thorikawa/prml/blob/master/gaussian_process_classify.R ここでは例として、(1,0),(2,0),(3,0)で1、(0,1),(0,2),(0,3)で0の値を取る訓練集合を用いています。 # Training data x=list(c(1,0),c(2,0), c(3,0), c(0,1), c(0,2), c(0,3)) t=c(1,1,1,0,0,0) training_data_num <- length(x) この訓練集合とカーネル関数をもとに予測分布を導出しています。 ガウス過程においては、訓練集合から予測分布を決める（ほぼ）唯一の要素はカーネル関数
線形回帰、カーネル線形回帰をRで実装する - Loud Minority
http://d.hatena.ne.jp/sesejun/20090401/p1 で紹介したカーネル多変量解析本の続き。 演習があるべきだ、と言ったが一般にカーネル法だと、与えられた点の数だけ次元を持つ正方行列を扱うので、演習を作っても手で解くのがつらい。だから、こんな風にソースコードを入れてみるのは、どうかと思ったので、このエントリを書いてみた。 線形回帰からカーネル線形回帰までをRで書いてみる(行列扱うのが楽なので）。式番号は、カーネル多変量解析の本に出てくる式番号である（まだ式番号をつけていないところが多いので、後日つけます付けました。2009/4/3）。 まずは単なるXYプロット。正規分布を鋭角にした感じの点20個。図1.3(P9)の点を真似た。 x1 <- c(-2,-1.69,-1.5,-1.3,-1.1,-0.9,-0.7,-0.48,-0.42,-0.05,0.09,0.
ガウス過程(Gaussian processes)に関するメモ（１） 正田 備也 平成 19 年 7 月 15 日 本稿の参考文献は [1] です．その第 2 章を縮めて紹介しますが，直接読むほうが分かりやすいかもしれません．
ガウス過程(Gaussian processes)に関するメモ（１） 正田 備也 平成 19 年 7 月 15 日 本稿の参考文献は [1] です．その第 2 章を縮めて紹介しますが，直接読むほうが分かりやすいかもしれません． 1 雑音をともなう線形回帰モデル あるブラックボックスがあって，p 次元のベクトル x が入力として与えられると，ひとつの数値 y を出力すると します．このブラックボックスの中身がどうなっているのかを説明するために，モデルをつくることにします．本 稿では，ガウス雑音をともなう線形回帰モデルを考えます．これは f(x) = x w, y = f(x) + ε (1) という式で書くことのできるモデルです．まず，入力ベクトル x と，モデルのパラメータであるベクトル w との内 積が求められます．これでひとつの数値 f(x) が得られますが，さらにガウス雑音 ε が
gpB.dvi
�������� ������ ����������������� ������������������ �!#"%$&�('*) +,).-�/+10243 57698;:.<>=@?A6CB#=,DFE�G%HJI�KMLON�K>P,Q/:.? R�<>LTSVUJ6XW1B#LOYC6�<ZK�LT=@I.[ Q/:.YC6�B#S.L\K>H ]�:JRZD^<_:^=@D.<`I�P%ab:.S.LOB.U*cd6CI�e2D�:.SfP Q/:.? R�<>LTSVUJ6�PgQihkj�lfmonk[oW1B#LO=@6`Sqp�LOB.UJS^D.? [ rtstuwvxs^y;z{rt|*s*}/~�u{s{rg~_stu�~��xv � �1��C���#�f.�*�#�����*�@�J�F�g�.�F� �*�C�x�Z�{�#�*���_�,�J���.�1�`
Gaussian Processes for Machine Learning
C. E. Rasmussen & C. K. I. Williams, Gaussian Processes for Machine Learning, the MIT Press, 2006, ISBN 026218253X. c 2006 Massachusetts Institute of Technology. www.GaussianProcess.org/gpml Chapter 2 Regression Supervised learning can be divided into regression and classification problems. Whereas the outputs for classification are discrete class labels, regression is concerned with the predictio
PRML 演習問題 解答例 - HeyWiki
PRML 演習問題 解答例 - 第1章 PRML 演習問題 解答例 - 第2章 PRML 演習問題 解答例 - 第3章? PRML 演習問題 解答例 - 第4章? PRML 演習問題 解答例 - 第5章? PRML 演習問題 解答例 - 第6章? PRML 演習問題 解答例 - 第7章
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Machine Learning Summer School 2009
https://www.ism.ac.jp/~fukumizu/ISM_lecture_2006/index.html
痛快！サポートベクトルマシン -古くて新しいパターン認識手法- | CiNii Research
https://www.docstoc.com/docs/2144143/A-Gaussian-Process-Tutorial
http://www.inference.org.uk/mackay/itprnn/ps/534.548.pdf
http://hawaii.naist.jp/~makoto-f/
PRML Reading - Google Groups