しかしSVMも最近は速いらしい - 射撃しつつ前転 改
Complement Naive BayesがSVMより速いよーと主張していたので、SVMもなんか最近は速くなってるらしいよ、という事を紹介してみたい。近年はSVMなどの学習を高速に行うという提案が行われており、実装が公開されているものもある。その中の一つにliblinearという機械学習ライブラリがある。ライブラリ名から推測できる通り、liblinearではカーネルを使うことが出来ない。しかし、その分速度が速く、大規模データに適用できるという利点がある。 liblinearを作っているのはlibsvmと同じ研究グループで、Chih-Jen Linがプロジェクトリーダーであるようだ。libsvmはかなり有名なライブラリで、liblinearにはそういった意味で安心感がある。（liblinearの方は公開されてしばらくは割とバグがあったらしいけど。） liblinearにはL1-SVM, L
Support Vector Machine - にゃあさんの戯言日記
昨日の話の続き。 実験で学習をするロボットを作るということで、学習のためのアルゴリズムをいくつか調べた。そこで最終的に採用したのがSupport Vector Machine(SVM)。詳しい説明は各サイトでどうぞ。 提案された当初のSVMは線形分離可能な2クラスを識別するためのアルゴリズムだったのだけど、カーネルトリックと呼ばれる手法を取り入れることによって非線形な集合の識別にも適用することができるようになった。実際に使ってみると、確かににょろーんとした境界を張って識別してくれるんだよなあ。不思議。 Javaアプレットでデモを作ってみたので、よかったら遊んでみてください。 http://nya3.jp/files/SVMDemo/SVMDemo.html (Javaアプレット) http://nya3.jp/files/SVMDemo/example1.png (例1) http://n
SVM比較の感想1 | 離散世界の連続思考
【コンピュータ】 IE7を入れてみました。 アルファベットや数字がアンチエイリアスされていて気持ち悪い。 切ってしまうか、日本語もClearType対応のものにするか迷う。 【研究】 SVM lightとlibSVMとTinySVMの比較実験。 データはlibSVMのサイトにあるDataSet。 結構手間がかかるので、まだやり足りない部分があるのですが、 一応いくつかやってみたときの感想。 機種としてはPen3 866MHz。Mem 512MB。OS SUSE Linux 10.0。 あと設定として二次の多項式です。 どうもScalingした後のlibSVMは精度は良くなるが、かなり時間がかかる。 しない場合はたまに精度が良くなるけれども、全体的には悪い。悪すぎるときもある。 SVM lightは逆にScaling後のlibSVMよりは速い。 そして精度もそこそこ。 特筆すべきなのがTin
SVMにおける2次計画問題の解法に対する考察
SVMの 2次計画問題に関する解法の考察 東京理科大学工学部経営工学科 沼田研究室 4400079 戸田健一 卒業研究発表 1 発表構成 1. はじめに 2. クラス判別とSVM 2-1. クラス判別問題 2-2. サポートベクターマシン 2-3. 線形分離不可能な場合のSVM 2-4. 非線形SVM 3. 4. 5. 6. 7. Sequential Minimal Optimization(SMO) 2段階SMO 実験 実験結果，考察 まとめ 参考文献 2 1.はじめに パターン認識問題におけるクラス判別手法： サポートベクターマシン(SVM)[1],抄録[3] SVM：2次計画問題を解く →データが多くなるにつれて計算量が非常に多くなる Sequential Minimal Optimization (SMO) [2],[3],抄録[1],[2]： SVMによる2次計画問
Peltarion | AI
Peltarion has been acquired by King, a leading interactive entertainment company for the mobile gaming world. You can read the press release here. Effective 1st October 2022, Peltarion no longer has an external, commercial offer and has closed the Peltarion platform to external users. The Peltarion team would like to thank all former customers and partners for their collaboration, and we wish ever
Support Vector Machine
人間には卓越した学習能力が備わっている．人間は目で見たり，耳で聞いたものが何であるかをいとも簡単に認識できる．また，未知の環境に適応する能力も優れている．それに対し，コンピュータは，与えられた指示（プログラム）どおりに高速に計算を行う能力においては優れているが，学習能力という点においては，人間とは比較にならない． そこで，人間のような学習能力をもった機械（モデル）を作るための学習理論が発達してきた．その代表的な成果の1つとして，多層パーセプトロンが挙げられる．多層パーセプトロンは1980年代に開発され，これまで多方面に応用されてきた．しかし，望ましくない局所最適解への収束，中間層の素子数の選択など，いくつかの問題点がある． サポートベクターマシン(Support Vector Machine:SVM) は，このような問題を解決した学習機械として知られている．サポートベクターマシンとは，1
サポートベクターマシン入門
次へ: はじめに サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp visitors since Jul. 19, 2002. 概要: 最近、サポートベクターマシン(Support Vector Machine, SVM)と呼ばれるパター ン認識手法が注目されており、ちょっとしたブームになっている。カーネルトリッ クにより非線形の識別関数を構成できるように拡張したサポートベクターマシン は、現在知られている多くの手法の中でも最も認識性能の優れた学習モデルの一 つである。サポートベクターマ
ＥＭＡＮの物理学・解析力学・ラグランジュの未定乗数法
となることが取敢えずの極値の条件である。 残念ながらこの条件から導かれる点 が極小か極大か、 ただの停留点か、あるいは鞍点であるかということは分からない。 鞍点というのは、例えば 2 変数関数をグラフにしたときの図形が 馬の鞍のようになる場合の話で、ある方向には極小であるがある方向には極大である、 という状況になる点である。 山の尾根沿いの道に例えてもいいかも知れない。 道の左右はどちらを向いても下り坂だが、前後は両方とも上り坂ということがある。 そういう点だ。 その他にも、現在点は水平だが、前には上り坂、後ろには下り坂という状況だってある。 上に書いた条件だけではそこまでの判定はできないが、 とりあえず、極値になりそうな候補をすべて導き出すことならば出来る。 条件付極値判定 ではこれに対して、二つほどの束縛条件が加わったらどうなるだろう。 これでは 、 、 はそれぞれ独立に、 自由には動
FrontPage - 情報論的学習理論と機械学習の「朱鷺の杜Wiki」
朱鷺の杜Wiki（ときのもり うぃき）† 朱鷺の杜Wikiは，機械学習に関連した，データマイニング，情報理論，計算論的学習理論，統計，統計物理についての情報交換の場です．これら機械学習関係の話題，リンク，関連事項，書籍・論文紹介などの情報を扱います． 更新されたページを確認するにはRSSリーダを使って右下のRSSリンクをチェックするか，最終更新のページを参照してください． ページの中でどこが更新されたかを見るには，上の「差分」をクリックして下さい． 数式の表示に MathJax を利用しています．数式の上でコンテキストメニューを使うと各種の設定が可能です．特に設定をしなくても数式は閲覧できますが，フォントをインストールすれば数式の表示がきれいで高速になります．詳しくは 数式の表示 のページを参照して下さい． ごく簡単なWikiの使い方がこのページの最後にあります．トップページやメニューなど
Weka 3 - Data Mining with Open Source Machine Learning Software in Java
Weka is a collection of machine learning algorithms for data mining tasks. It contains tools for data preparation, classification, regression, clustering, association rules mining, and visualization. Found only on the islands of New Zealand, the Weka is a flightless bird with an inquisitive nature. The name is pronounced like this, and the bird sounds like this. Weka is open source software issued
Support Vector Machine
最近よく巷で耳にするモノ． SVM， Support Vector Machine， さぽーとべくたーましん． これっていったい，どんなもんなんでしょう． なにやら便利そうなモノらしいので，ちょいと調べて要点をまとめてみようかな，なんて． でも，ただまとめただけだとそのへんの記事を読むのとなんにも変わらないので， コーディングするために必要な知識を中心にまとめてみることにします．
Microsoft Word - SVM.doc
[ 連載 ] フリーソフトによるデータ解析・マイニング第 31 回 Ｒ とカーネル法・サポートベクターマシン 1. カーネル法とは 図 1 に示すように、非線形データ構造を線形構造に変換することができれば、線形データ解 析手法で非線形データを容易に扱うことができる。 図1 変換による線形化のイメージ デ ータを変換することで、非線形構造を線形構造に変換することが可能である。例えば、図 2(a)に示す 2 次元平面座標系( x, y )上の 4 つの点 A1(1,1)、A2(1,-1)、A3(-1,-1)、A4(-1,1)を 考えよう。仮に A1 と A3 がひとつのクラス、A2 と A4 がひとつのクラスだとすると、平面上で クラスの境界線を一本の直線で引くことができない。しかし、新しい変数 z = xy を導入し、2 次 元 平 面 ( x, y )上 の 4 つ の 点
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft Word - cascade_nips_paper2.doc
Wizard of Odd – Historical Compilations
はてなブログ | 無料ブログを作成しよう
http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/SML/kernel.ppt
Photo Tourism: Microsoft Research, Interactive Visual Media Group
https://people.eecs.berkeley.edu/~malik/cs294/decoste-scholkopf.pdf