FOBOSを使ってSVMやロジステック回帰を実装しよう!!! - yasuhisa's blog
原稿も出したし、次のネタのために論文読んでたけど全然分からないし(ダレカタスケテ!!!)、3連休だし、現実逃避したい!!!ということでFOBOSの論文を読んだりしていました。なんでFOBOSかっていうと、就活の面接のときに「SVMとか(使った、じゃなくって)実装したことがありますか?」と聞かれてNoとは答えられないので...とかいうのは嘘ですが、PFIのBlogでid:tkngさんがFOBOSを紹介する記事を書かれていたからでした*1。 劣微分を用いた最適化手法について(1) | Preferred Research 劣微分を用いた最適化手法について(2) | Preferred Research 劣微分を用いた最適化手法について(3) | Preferred Research 劣微分を用いた最適化手法について(4) | Preferred Research 劣微分を用いた最適化手法につい
多層パーセプトロンとSVM - yasuhisa's blog
http://hawaii.naist.jp/~kazushi/lec/tls/l3.pdf パーセプトロンの多層化 多層化というより、前処理というようなイメージ ニューラルネットは意識しているけど... 結合重みをランダムに生成 資料の赤のほうをランダム、青のほうはパーセプトロンで学習 汎化能力という意味ではあんまりよろしくない(まあ、そうだ) 多層パーセプトロン これって完全にニューラルネットなんじゃ... ちょっと違うか 関数近似能力 必要な素子数が次元に依存しない 次元の呪いにかからない ただし、うまく選んであげないとちゃんとうまくいかない そういう次元数は存在するが、どうやって選べばいいかは自明ではない(というか分からない) 学習曲線が不思議な形(プラトー)をしている 正則モデル 実現したい入出力パラメータが一意に決まる 特異モデル パラメータの組み合わせがあるときに違う組み合わ
SVMによる予測変換 - nokunoの日記
Google日本語入力のOSS版であるMozcが公開されたので、ソースコードを読んでみました。Google Japan Blog: Google 日本語入力がオープンソースになりました mozc - Project Hosting on Google Code変換アルゴリズムや学習のロジックに関しては、id:tkngさんが早速ブログにまとめていますので、そちらを読むとよいと思います。また何か気づいたことがあったら書いてみたいと思います。Mozc(Google日本語入力)のコードを読んだメモ - 射撃しつつ前転 Mozcのコードで個人的に興味深かったのは予測変換のアルゴリズムでした。私はもともと修論の時に予測変換の研究をしていて、予測変換のトレードオフという問題に取り組んでいました。予測変換は、単純に考えると候補の頻度が高ければ高いほど良いのですが、それだけだと常に最も短い候補が出力されてし
ソフトマージンSVM - 人工知能に関する断創録
前回（2010/5/2）のハードマージンSVMでは、データに重なりがある場合、下のようにちゃんと分類境界を求められませんでした。今回は、重なりのあるクラス分布に対応できるように拡張してみます。このようなSVMはハードマージンSVMに対してソフトマージンSVMと呼ばれます。別名としてC-SVMとも呼ばれるようです。 PRMLの7.1.1にあるように、データの誤分類を許すようにSVMを修正します。ハードマージンSVMでは、データ点がマージン内（-1 < y < 1）に絶対に入らないことを前提にしていましたが、ソフトマージンSVMでは「入ってしまったものは仕方ない、だがペナルティを与える！」と少し条件を緩めます。 まず、スラック変数ζ（ゼータ）をデータごとに導入します。スラック変数は、データが正しく分類されかつマージン境界上または外側にある場合は0、正しく分類されているがマージン内に侵入してしま
非線形SVM - 人工知能に関する断創録
今回は、非線形サポートベクトルマシンを試してみます。線形SVM（2010/5/1）は、カーネル関数に線形カーネル（ただの内積）を使いましたが、これを多項式カーネル（A）やガウスカーネル（B）に変更します。 カーネル関数は元のベクトルxを非線形写像によって高次元空間に写像した特徴ベクトルφ(x)の内積（C）で定義されます。 一般に特徴ベクトルφ(x)は高次元空間（無限次元空間でもOK）になるので普通にやってたら内積の計算量が非常に大きくなります。そこで、特徴ベクトルφ(x)の内積を計算せずに多項式カーネル（A）やガウスカーネル（B）の計算で置き換えるテクニックをカーネルトリックと呼ぶとのこと。多項式カーネルやガウスカーネルを使うとφ(x)を陽に計算する必要がなくなります。ただ、元の空間xでの内積は必要なんですよね・・・最初は、カーネルトリックのありがたみがよくわからなかったのですが、「入力空
線形SVM - 人工知能に関する断創録
下巻に入って7章のサポートベクトルマシン（Support Vector Machine: SVM）を実装してみます。SVMに関しては、有名なSVMのライブラリ（libsvm）を使ったことがあるだけで、アルゴリズム詳細はPRMLで初めて学習しました。なので変なことを書いていたらコメント欄で指摘してもらえると助かります。 まずは、一番簡単な線形SVMを実装してみます。今までと同様に直線（超平面）でデータが完全に分離できる場合です。PRMLの7章には特に説明がありませんが、カーネル関数に下の線形カーネル（データのただの内積）を用いた場合に相当するようです。このカーネル関数を多項カーネルやガウシアンカーネルに変更すると線形分離不可能なデータも分類できるようになるとのこと。非線形SVMは次回ためしてみます。 まず、SVMの識別関数は、式（7.1）で表せます。 今までと違ってバイアスパラメータをまとめ
初めてのSVM - yasuhisa's blog
ゼミでid:reposeがSVMについて話しました。SVRとかそういうのはとりあえずやらないで、マージン最大化とヒンジ関数を使った誤差最小化の枠組みを見たり、解のスパースネスがどうして導けるのかとかについて勉強しました。 参考にしてたのはこの2冊。 パターン認識と機械学習 下 - ベイズ理論による統計的予測 作者: C. M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: シュプリンガー・ジャパン株式会社発売日: 2008/07/11メディア: 単行本購入: 19人 クリック: 443回この商品を含むブログ (64件) を見るカーネル多変量解析―非線形データ解析の新しい展開 (シリーズ確率と情報の科学) 作者: 赤穂昭太郎出版社/メーカー: 岩波書店発売日: 2008/11/27メディア: 単行本購入: 7人 クリック: 180回この商品を含むブログ (32件
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2011-03-02 - music, statistics, and my life
Information: Signals, Images, Systems (ISIS) Research Group - Support Vector Machines