機械学習/MacでSVM-Lightを使う - とうごろうぃき
インストール † 展開するときにディレクトリーを作ってくれないので注意しましょう． mkdir svm_light mv svm_light.tar.gz gunzip -c svm_light.tar.gz | tar xvf - make all gunzipの-cオプションは圧縮ファイルをそのままにして伸張した結果を標準出力に書き出すもので，tarの引数-は標準入力から入力されたファイルを展開するものです． これだとコンパイルだけで，パスを通さないと使えません． パスが通っているところにコンパイルされたファイルを移動させると，いつでもターミナルから実行できるようになります． sudo mv svm_learn svm_classify /usr/local/bin make clean 最後のmake cleanは不要になったファイルを消すためのオマケです． コンパイルでできたファイ
データマイニング勉強会3
SVM実践ガイド (A Practical Guide to Support Vector Classification)sleepy_yoshi
しかしSVMも最近は速いらしい - 射撃しつつ前転 改
Complement Naive BayesがSVMより速いよーと主張していたので、SVMもなんか最近は速くなってるらしいよ、という事を紹介してみたい。近年はSVMなどの学習を高速に行うという提案が行われており、実装が公開されているものもある。その中の一つにliblinearという機械学習ライブラリがある。ライブラリ名から推測できる通り、liblinearではカーネルを使うことが出来ない。しかし、その分速度が速く、大規模データに適用できるという利点がある。 liblinearを作っているのはlibsvmと同じ研究グループで、Chih-Jen Linがプロジェクトリーダーであるようだ。libsvmはかなり有名なライブラリで、liblinearにはそういった意味で安心感がある。（liblinearの方は公開されてしばらくは割とバグがあったらしいけど。） liblinearにはL1-SVM, L
やる夫はSVMを実装したようです やる夫で学ぶ非線形なSVM
2乗誤差最小化を基礎におく線形識別器の欠点を克服する識別器の学習として有名なサポートベクターマシンについて、原理、学習アルゴリズムについて説明する。さらに回帰の応用したサポートベクター回帰についても説明する。
Zinniaの多クラス分類法 - 射撃しつつ前転 改
ZinniaというSVMベースの新しい手書き文字認識エンジンがリリースされたので、早速ソースコードを少し読んでみた。 文字認識というのは、機械学習では多クラス分類という問題に分類される。しかもクラス数が認識したい文字数（数千文字程度だろう）分だけ存在するという、なかなか計算量的に厳しい問題である。二値分類器を使って多値分類器を構成する方法にはone vs rest, one vs one, その他にもいろいろあるらしいが、その中のどれを使っているのかというところに興味があった。Webによると、50〜100文字/秒の認識速度と書いてあったので、コードを読む前の予測としては、one vs oneかなーと思っていた。（速度的にはone vs oneの方がone vs restより速い。） しかし、そんな予想を裏切り、recognizer.cppの148行めあたりからには以下のようなコードが書いて
きまぐれ日記: Zinnia: 機械学習ベースのポータブルなオンライン手書き文字認識エンジン
オンライン手書き文字認識エンジンZinniaを公開しました。 http://zinnia.sourceforge.net/index-ja.html Zinniaは機械学習アルゴリズム SVM を用いたポータブルで汎用的な オンライン手書き文字認識エンジンです。Zinniaは組み込みの容易さと汎用性を高めるために、 文字のレンダリング機能は持っていません。Zinniaは文字のストローク情報を座標の連続として受け取り、 確からしい順にスコア付きでN文字の認識結果を返すだけに機能を限定しています。 また、認識エンジンは完全に機械学習ベースであるために、文字のみならずユーザの任意のマウス・ペンストロークに対して任意の文字列をマッピングするような認識エンジンを小コスト作成することができます。 2年前に、Ajax手書き文字認識と言うものを作ったのですが、その認識エンジンをスクラッチからポータブルでつ
ちょｗｗｗ - 元データ分析の会社で働いていた人の四方山話
めちゃめちゃ興味あるんですけど http://bioinfo.is.ocha.ac.jp/poster-kokai-seminar/15th-bio-shotai.pdf とおすぐる＞＜ まあ少しまじめな話をすると、 Support Vector Machine を代表とするKernel-based Machine Learning では、アプリケーションを特徴付けるカーネル関数をうまく設計することが成否の鍵となる。カーネル関数は半正定値という数学的性質により定義されており、その性質を満足するようにカーネル関数を設計することは意外に易しくはない。 前半はまさに正しくて非線形な処理を行うには、SVMをはじめとしてカーネルはきってもきりはなせない。 でも後半の部分もカーネルの説明をするときには良く言われることだけど、最近少し気になることを聞いた。 データの性質に合うカーネル関数を「うまく設計」
[機械学習]サポートベクターマシンの本 - 2008-07-15 - きしだのはてな
うちにある本で、サポートベクターマシン(SVM)について書いてある本をあげてみます。 まずは、これ。機械学習ってなんなの？という人におすすめ。パーセプトロンからSVM、ニューラルネットワークときて、そうやってできた学習機械の評価方法についても書いてあります。 フリーソフトでつくる音声認識システム パターン認識・機械学習の初歩から対話システムまで 作者: 荒木雅弘出版社/メーカー: 森北出版発売日: 2007/10/01メディア: 単行本（ソフトカバー）購入: 45人 クリック: 519回この商品を含むブログ (39件) を見る SVM・カーネルに関しては記述が軽く、これも機械学習の入門書。けど、学習機械を組み合わせるブースティングなどの話が書いてある。 パターン認識と学習の統計学―新しい概念と手法 (統計科学のフロンティア 6) 作者: 甘利俊一,麻生英樹,津田宏治,村田昇出版社/メーカー
多クラスSVM - 元データ分析の会社で働いていた人の四方山話
についての論文を読む。 SVMは基本的には2クラス分類器なので、多クラス分類は原理的には不可能である。 そこで、多クラスの分類にSVMを用いるには以下の二つを用いる。 One-Versus-Rest(1-vs-R) One-Versus-One(1-vs-1) 1-vs-Rは一つのクラスと残りすべてのクラスのデータの分類器としてSVMを用いる。 なので、必要となるSVMは、Nクラス分類問題に対してはN個。 学習後のN個のSVMで最大の出力を示したものに分類。 分類そのものが複雑になるのと、データに偏りが生じやすい。 1-vs-1は2クラスの組み合わせを作り、それぞれを2クラス分類問題としてSVMを用いる。 なので、必要となるSVMは、Nクラス分類問題に対してはN(N-1)/2個。 学習後のSVMで出力を統合したり、多数決で分類。 分類そのものは単純であるが、必要となる分類気が多い。 読んだ
線形SVM 〜 コーディングに必要な式 〜
線形SVM 〜 コーディングに必要な式 〜 戻る 線形SVMの識別関数は，次のように定義される． ただし． は入力ベクトル，ベクトルおよびスカラーは識別関数を決定するパラメータ． ニューラル的な表現をすると識別関数は2層パーセプトロンと見ることもできて，は結合係数，はバイアス結合あるいは出力ニューロンの閾値と考えることが出来る． さて，パラメータとを学習によって求めたいわけである． SVMの学習は，バックプロパゲーションのようにこれらのパラメータを直接，逐次学習によって求めるわけではない．ラグランジュ未定乗数ベクトルを学習により求めることで，パラメータおよびを求める，というまどろっこしい方法をとるのですよ．意味については次ページで説明するので，ここでは必要な式だけをまとめる． 学習データは個与えられているとし，と表す．これらのデータを2つのクラスおよびに分離することを考え
サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp 平成
サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp 平成 14 年 7 月 18 日 概 要 最近、サポートベクターマシン (Support Vector Machine, SVM) と呼ばれるパターン認識 手法が注目されており、ちょっとしたブームになっている。カーネルトリックにより非線形の識 別関数を構成できるように拡張したサポートベクターマシンは、現在知られている多くの手法の 中でも最も認識性能の優れた学習モデルの一つである。サポートベクターマシンが優れた認識性 能を発揮できるのは、未学習
LIBSVMの使いかたまとめ - k.kinukawaの日記
LIBSVMとは LIBSVMはChih-Chung Chang とChih-Jen Lin によって作成された、サポートベクタマシンライブラリである。 現在はバージョン2.85がリリースされている。 LIBSVM は、サポートベクタ分類器（C-SVC、nu-SVC）、回帰分析（epsilon-SVR、nu-SVR）、分布評価（１クラスSVM）のための統合ソフトである。 マルチクラス分類もサポートしている。 様々なインターフェースが用意されているため、ライブラリとユーザープログラムを簡単に統合することが可能である。 以下のような機能、特徴を含んでいる。 異なったSVM の計算式が用意されている. 効率的なマルチクラス分類ができる. モデル選択のためのクロスバリデーション*1. 可能性予測. 偏ったデータのための、重みつきSVM. C++ とJava のソースコード. SVM 分類と回帰分析
自然言語処理研究室 - 長岡技術科学大学 電気系 自然言語処理研究室
ようこそ！ 長岡技術科学大学 電気系 自然言語処理研究室へようこそ。本研究室では、自然言語処理とテキストマイニングに関する様々な研究を行っています。 最近の研究室 国際会議に２件採録されました(9/4) 今年11月にフィリピンのセブ島で開催される自然言語処理に関する国際会議 PACLIC 22に本研究室から２件の論文が採録されましたので ご報告します。 Extracting Troubles from Daily Reports based on Syntactic Pieces [ 国際会議#08PACLIC-kakimoto ] Generating Story Reviews Using Phrases Expressing Emotion [ 国際会議#08PACLIC-ota ] オープンハウスを開催しました(8/25-29) 今年度もオープンハウスを開催して、「人工無
DO++: 教師あり学習の比較
ICML2006に興味深い論文がありました。 "An Empirical Comparison of Supervised Learning Algorithm", Rich Caruana caruana and Alexandru Niculescu-Mizil [link] 90年代初め以降、数多くの画期的な教師あり学習が提案されてきましたが、どれがいいかを包括的に比較したことはあまりありませんでした （文書分類などでは、SVMとAda-boosting 強いねということだったのですが Sebastiani@ACM Survey 2002） 決着をつけようじゃないかということで、11の問題に対してハイパーパラメータも完璧にチューニングして、いろいろな分類器を比較しているみたいです。比較内容は精度や再現率やクロスエントロピーなど様々で、確率を直接出さないやつはsigmoid関数など単調
TinySVM: Support Vector Machines
TinySVM is an implementation of Support Vector Machines (SVMs) [Vapnik 95], [Vapnik 98] for the problem of pattern recognition. Support Vector Machines is a new generation learning algorithms based on recent advances in statistical learning theory, and applied to large number of real-world applications, such as text categorization, hand-written character recognition. List of Contents What's new Fe
なんか3(仮名): TinySVM で足し算のテスト
svm関係は日本語のドキュメントが少な杉。 わけのわからない数式とかはいっぱいあるけど。 どうやって遊べばいいの? 実態(いったい)。 と、はてなマークが点滅しまくります。 一応、こんな風にしたら遊べました。 もしかしたら、間違っているかもしれませんけど、闇の中で迷っているよりはマシかな。 ぱくりインスパイヤ先 SVMlight MySVM に関する Tips TinySVM: Support Vector MachinesのサイトのBinary package for MS-Windowsからバイナリをダウンロードします。 んで、解凍すると、bin というディレクトリの中にプログラムが入っています。 svm_learn.exe 学習プログラム svm_classify.exe 分類プログラム 学習データを用意します。 svm.learn.dat というファイルに以下をコピペしてください。
Support Vector Machine (pdf)
サポートベクターマシンとその応用 An Introduction to Support Vector Machines 山下浩∗ 田中茂† Hiroshi Yamashita Shigeru Tanaka (株）数理システム‡ Mathematical Systems, Inc.§ 概要 Support Vector Machines (SVMs), the learning approach originally developed by Vapnik and co-workers, have attracted much attention recently because of their excellent performances in various real-world applications such as text categorization, charact
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
やる夫で学ぶSVM with R
痛快！サポートベクトルマシン -古くて新しいパターン認識手法- | CiNii Research
Outlier除去によるサポートベクターマシン改良の提案と映像境界検出問題への応用