LibSVMのcross validationオプションでprecision/recallを出力する - シリコンの谷のゾンビ
SVMの定番ツールのひとつであるlibsvmにはcross validationオプション(-v) があり，ユーザが指定したFoldのcross validationを実行してくれる． 実行例 % ./svm-train -v 2 heart_scale * optimization finished, #iter = 96 nu = 0.431885 obj = -45.653900, rho = 0.152916 nSV = 70, nBSV = 49 Total nSV = 70 * optimization finished, #iter = 84 nu = 0.512665 obj = -57.742885, rho = 0.134158 nSV = 78, nBSV = 61 Total nSV = 78 Cross Validation Accuracy = 81.8519%
332パターン認識 - 過去を知れば未来が分かる
世の中には、既に分かっている過去のデータがあります。このデータを利用しない手はありません。過去のデータを利用すれば、もし分からない未来のデータが出現した場合、過去のパターンから有効な知識として活用させることができます。 今回、ご紹介するのはそんな過去を知れば未来が見えてくる手法です。概して『パターン認識』と呼ばれる手法とその類です。 「パターン認識」、難しい言葉に聞こえるかもしれませんが、我々は常にパターン認識をしております。 例えば、ある人の顔を見たときに瞬時に記憶の中から誰なのか識別してますし、初めて見る場合でも似たような人物を探しどんな人間なのか当てはめたりすることもできます。 楽しいときはどんな表情をするか、苦しいときはどんな表情をするかという「パターンクラス」を私たちは持っています。初めて会う人の表情でさえ、感情をよみとる能力を持ち合わせています。それがパターン認識です。
sage/SVMで画像認識 - PukiWiki
2010/03/16からのアクセス回数 14240 このページのsageノートブックは、以下のURLにあります。 http://www.sagenb.org/home/pub/1762 はじめに † SVMは、オーバーフィッティングを避けて効率よく識別関数を求めることができる 手法です。 「集合知」の9章で紹介されているSVMをSageを使ってまとめてみます。 ↑ 簡単な例題 † いきなりSVMに進む前にクラス分けを簡単な例を使って解いてみます。 下図は、赤（-1）のグループと青（1）のグループの分布です。 sageへの入力: # 線形クラス分類の例 # データの用意 c1 = [[1,2],[1,4],[2,4]] c2 = [[2,1],[5,1],[4,2]] # プロットして分布を確認 pl1 = list_plot(c1, rgbcolor='red') pl2 = list_p
Support Vector Machine
最近よく巷で耳にするモノ． SVM， Support Vector Machine， さぽーとべくたーましん． これっていったい，どんなもんなんでしょう． なにやら便利そうなモノらしいので，ちょいと調べて要点をまとめてみようかな，なんて． でも，ただまとめただけだとそのへんの記事を読むのとなんにも変わらないので， コーディングするために必要な知識を中心にまとめてみることにします．
サポートベクトルマシン，kemba-svm.exe
SVMを使うにはカーネルと呼ばれるものを選択しなければならない．kemba-svm.exe がサポートしているカーネルは 線形カーネル RBFカーネル 多項式カーネル partial distance カーネル[1] の４つである．そのほかに予め計算済みのカーネル行列からSVMを動かすこともできるがここでは説明しない． SVMを使うにはカーネルと呼ばれるものを選択しなければならない．現在 libsvm がサポートしているカーネルは 線形カーネル RBFカーネル 多項式カーネル シグモイドカーネル の４つである．ただし，シグモイドカーネルは半正定値カーネルではないので，シグモイドカーネルを使った場合はSVM学習の理論保証は一般に得られない(パラメータの選び方によっては半正定値カーネルになる場合もある)．そのほかに予め計算済みのカーネル行列からSVMを動かすこともできるがここでは説明しない．
[チュートリアル講演] カーネルマシン
次へ: はじめに [チュートリアル講演] カーネルマシン 赤穂 昭太郎1 Shotaro Akaho s.akaho@aist.go.jp 概要: サポートベクタマシン (SVM) に代表されるカーネルを用いた学習機械について解説する． これらにほぼ共通しているのは，基本的に線形の学習機械の延長線上にあり， ローカルミニマムの問題などが少ないこと，それから，正則化を行うことにより 高い記述能力と汎化能力を両立していることが特長である． キーワード: サポートベクタマシン，正則化，スパースネス，数理計画法， 汎化 Kernel machines such as the support vector machine are reviewed. Most of them are not suffered from the local optimum problem, because they a
非線形SVM - 人工知能に関する断創録
今回は、非線形サポートベクトルマシンを試してみます。線形SVM（2010/5/1）は、カーネル関数に線形カーネル（ただの内積）を使いましたが、これを多項式カーネル（A）やガウスカーネル（B）に変更します。 カーネル関数は元のベクトルxを非線形写像によって高次元空間に写像した特徴ベクトルφ(x)の内積（C）で定義されます。 一般に特徴ベクトルφ(x)は高次元空間（無限次元空間でもOK）になるので普通にやってたら内積の計算量が非常に大きくなります。そこで、特徴ベクトルφ(x)の内積を計算せずに多項式カーネル（A）やガウスカーネル（B）の計算で置き換えるテクニックをカーネルトリックと呼ぶとのこと。多項式カーネルやガウスカーネルを使うとφ(x)を陽に計算する必要がなくなります。ただ、元の空間xでの内積は必要なんですよね・・・最初は、カーネルトリックのありがたみがよくわからなかったのですが、「入力空
非線形SVM 〜詳細説明〜
非線形SVM 〜 詳細説明 〜 戻る 問題が線形分離できないような場合，やっぱり非線形なモデルを考えたいわけで，常套手段はなんといっても，元の特徴空間を線形分離可能な別の特徴空間に変換してやってから線形分離してやる，っていう方法だよね．非線形SVMも例に漏れずこの方法を使う． 元の特徴空間におけるベクトルを，別の次元特徴空間に変換する関数を考える．は，スカラーを出力する任意の個の非線形関数を要素とするベクトルと定義する． (2.1) これを使って，非線形SVMの識別関数を次のように考える． ただし (2.2) 学習データは個与えられているとし，と表す．これらのデータを2つのクラスおよびに分離することを考える．この学習データ集合に対して，が次の条件を満たすようにパラメータを調節することを考える． (2.3) ここで学習データに関する教師信号をとし，次のように定義する．
AS10.pdf
2008 年度前期 応用統計学 第９回 判別分析とパターン認識 (3) − サポートベクタマシンとカーネル法 サポートベクタマシンは，空間中に配置された点の２つの集合を最適に分離する境界を，その集合に 属する点の分布を表す確率分布モデルを考えることなく求める方法です．その基本的アイデアは大変簡 単で，「境界を，それぞれの集合でもっとも境界に近い点のどちらからも，もっとも遠くなるように置 く」というものです．この簡単な考え方はかなり古くからあるものですが，最近ふたたび脚光を浴びて います．それは，空間をさらに高次元の空間に変換するのと同等の操作を行なう「カーネル法」という 方法を導入することによって，線形でない「曲がった」境界を求めることができるようになり，より複 雑な認識問題に対応できるようになったためです． 基本的なサポートベクタマシン まず最初に，前回のニューラルネットワークについて
筑波大学大学院システム情報工学研究科 社会工学専攻
新たな、よりよい時代を切り拓く「誰か」になる そのための大学院として、“つくばの社工”には社会工学専攻があります。 科学の街・つくばで、未来構想のための工学を学んでみませんか？
Classias - 使い方 -
Windows環境の場合は，配布されている実行ファイルを利用するのが最も簡単です．ただし，配布されている実行ファイルを利用するには，システムにVisual C++ 2008 SP1 再頒布可能パッケージ (x86)がインストールされている必要があります． Linux環境の場合は，ソースコードからビルドしてください． ビルド方法は，こちらを参照してください． Classiasは二値分類（binary classification），多クラス分類（multi-class classification），候補選択（candidate classification）の３つのタスクをサポートします． 二値分類は，与えられた事例の素性（属性）に基づいて，事例を正例（+1）もしくは負例（-1）に分類するタスクです． 事例のラベルには，"+1", "1", もしくは"-1"を用いることができ，ラベルにコロ
Momma's Wiki: SupportVectorMachine/SVMlight - 手軽に試せるSupport Vector Machine SVM-Ligh...
svm_learn svm_learn [options] example_file model_file で学習する。 example_fileは後で説明する書式に従って記述したテキストファイルで、model_fileは学習結果を収めるファイルでsvm_learnが作るものなので適当な名前を指定するだけで良い。 つまりmodel_fileを保存しておけば学習状態を独立して管理できる。 オプションに関しては基本的に-cオプションしか弄らないで良さそう。-cに渡す数値が大きくなるほどマージンを広くとるが学習に時間を要する。 ちなみに-zオプションは動作モードの選択で、分類、回帰、ランキングが選べる。 example_fileの書式 <target> <feature>:<value> <feature>:<value> ... <feature>:<value> # <info> <targ
Support Vector Machine
パターン認識装置Support Vector Machine(サポートベクターマシン)について、以前に研究目的で使っていた2つの一般公開ソフトウェアについて取り上げています。2003年頃の情報なので今とは内容が全然異なっているかもしれません。 SVM-Light おそらく最も有名なSVMのソフトです。2値分類だけでなく、回帰問題や作者が提案しているRankingも実装されています。バージョン3.50の時の内容を和訳しています。バージョン5.00あたりのときに確認しましたが大きな違いはありませんでした。 インストール オプション、使い方 SMOBR SMOBRはPlatt氏によって提案された高速学習手法のSequential Minimal Optimizationを実装しているソフトウェアです。標準のライブラリだけを用いてC++で記述されているので、LinuxのgccやWindowsのDJ
SVM-Light: Support Vector Machine
SVMlight Support Vector Machine Author: Thorsten Joachims <thorsten@joachims.org> Cornell University Department of Computer Science Developed at: University of Dortmund, Informatik, AI-Unit Collaborative Research Center on 'Complexity Reduction in Multivariate Data' (SFB475) Version: 6.02 Date: 14.08.2008 Overview SVMlight is an implementation of Support Vector Machines (SVMs) in C. The main featu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LR-NET(R-Tree)
痛快！サポートベクトルマシン -古くて新しいパターン認識手法- | CiNii Research
http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/SML/kernel.ppt