サポートベクトルマシン，kemba-svm.exe
SVMを使うにはカーネルと呼ばれるものを選択しなければならない．kemba-svm.exe がサポートしているカーネルは 線形カーネル RBFカーネル 多項式カーネル partial distance カーネル[1] の４つである．そのほかに予め計算済みのカーネル行列からSVMを動かすこともできるがここでは説明しない． SVMを使うにはカーネルと呼ばれるものを選択しなければならない．現在 libsvm がサポートしているカーネルは 線形カーネル RBFカーネル 多項式カーネル シグモイドカーネル の４つである．ただし，シグモイドカーネルは半正定値カーネルではないので，シグモイドカーネルを使った場合はSVM学習の理論保証は一般に得られない(パラメータの選び方によっては半正定値カーネルになる場合もある)．そのほかに予め計算済みのカーネル行列からSVMを動かすこともできるがここでは説明しない．
[チュートリアル講演] カーネルマシン
次へ: はじめに [チュートリアル講演] カーネルマシン 赤穂 昭太郎1 Shotaro Akaho s.akaho@aist.go.jp 概要: サポートベクタマシン (SVM) に代表されるカーネルを用いた学習機械について解説する． これらにほぼ共通しているのは，基本的に線形の学習機械の延長線上にあり， ローカルミニマムの問題などが少ないこと，それから，正則化を行うことにより 高い記述能力と汎化能力を両立していることが特長である． キーワード: サポートベクタマシン，正則化，スパースネス，数理計画法， 汎化 Kernel machines such as the support vector machine are reviewed. Most of them are not suffered from the local optimum problem, because they a
非線形SVM - 人工知能に関する断創録
今回は、非線形サポートベクトルマシンを試してみます。線形SVM（2010/5/1）は、カーネル関数に線形カーネル（ただの内積）を使いましたが、これを多項式カーネル（A）やガウスカーネル（B）に変更します。 カーネル関数は元のベクトルxを非線形写像によって高次元空間に写像した特徴ベクトルφ(x)の内積（C）で定義されます。 一般に特徴ベクトルφ(x)は高次元空間（無限次元空間でもOK）になるので普通にやってたら内積の計算量が非常に大きくなります。そこで、特徴ベクトルφ(x)の内積を計算せずに多項式カーネル（A）やガウスカーネル（B）の計算で置き換えるテクニックをカーネルトリックと呼ぶとのこと。多項式カーネルやガウスカーネルを使うとφ(x)を陽に計算する必要がなくなります。ただ、元の空間xでの内積は必要なんですよね・・・最初は、カーネルトリックのありがたみがよくわからなかったのですが、「入力空
非線形SVM 〜詳細説明〜
非線形SVM 〜 詳細説明 〜 戻る 問題が線形分離できないような場合，やっぱり非線形なモデルを考えたいわけで，常套手段はなんといっても，元の特徴空間を線形分離可能な別の特徴空間に変換してやってから線形分離してやる，っていう方法だよね．非線形SVMも例に漏れずこの方法を使う． 元の特徴空間におけるベクトルを，別の次元特徴空間に変換する関数を考える．は，スカラーを出力する任意の個の非線形関数を要素とするベクトルと定義する． (2.1) これを使って，非線形SVMの識別関数を次のように考える． ただし (2.2) 学習データは個与えられているとし，と表す．これらのデータを2つのクラスおよびに分離することを考える．この学習データ集合に対して，が次の条件を満たすようにパラメータを調節することを考える． (2.3) ここで学習データに関する教師信号をとし，次のように定義する．
AS10.pdf
2008 年度前期 応用統計学 第９回 判別分析とパターン認識 (3) − サポートベクタマシンとカーネル法 サポートベクタマシンは，空間中に配置された点の２つの集合を最適に分離する境界を，その集合に 属する点の分布を表す確率分布モデルを考えることなく求める方法です．その基本的アイデアは大変簡 単で，「境界を，それぞれの集合でもっとも境界に近い点のどちらからも，もっとも遠くなるように置 く」というものです．この簡単な考え方はかなり古くからあるものですが，最近ふたたび脚光を浴びて います．それは，空間をさらに高次元の空間に変換するのと同等の操作を行なう「カーネル法」という 方法を導入することによって，線形でない「曲がった」境界を求めることができるようになり，より複 雑な認識問題に対応できるようになったためです． 基本的なサポートベクタマシン まず最初に，前回のニューラルネットワークについて
筑波大学大学院システム情報工学研究科 社会工学専攻
新たな、よりよい時代を切り拓く「誰か」になる そのための大学院として、“つくばの社工”には社会工学専攻があります。 科学の街・つくばで、未来構想のための工学を学んでみませんか？
Classias - 使い方 -
Windows環境の場合は，配布されている実行ファイルを利用するのが最も簡単です．ただし，配布されている実行ファイルを利用するには，システムにVisual C++ 2008 SP1 再頒布可能パッケージ (x86)がインストールされている必要があります． Linux環境の場合は，ソースコードからビルドしてください． ビルド方法は，こちらを参照してください． Classiasは二値分類（binary classification），多クラス分類（multi-class classification），候補選択（candidate classification）の３つのタスクをサポートします． 二値分類は，与えられた事例の素性（属性）に基づいて，事例を正例（+1）もしくは負例（-1）に分類するタスクです． 事例のラベルには，"+1", "1", もしくは"-1"を用いることができ，ラベルにコロ
Momma's Wiki: SupportVectorMachine/SVMlight - 手軽に試せるSupport Vector Machine SVM-Ligh...
svm_learn svm_learn [options] example_file model_file で学習する。 example_fileは後で説明する書式に従って記述したテキストファイルで、model_fileは学習結果を収めるファイルでsvm_learnが作るものなので適当な名前を指定するだけで良い。 つまりmodel_fileを保存しておけば学習状態を独立して管理できる。 オプションに関しては基本的に-cオプションしか弄らないで良さそう。-cに渡す数値が大きくなるほどマージンを広くとるが学習に時間を要する。 ちなみに-zオプションは動作モードの選択で、分類、回帰、ランキングが選べる。 example_fileの書式 <target> <feature>:<value> <feature>:<value> ... <feature>:<value> # <info> <targ
Support Vector Machine
パターン認識装置Support Vector Machine(サポートベクターマシン)について、以前に研究目的で使っていた2つの一般公開ソフトウェアについて取り上げています。2003年頃の情報なので今とは内容が全然異なっているかもしれません。 SVM-Light おそらく最も有名なSVMのソフトです。2値分類だけでなく、回帰問題や作者が提案しているRankingも実装されています。バージョン3.50の時の内容を和訳しています。バージョン5.00あたりのときに確認しましたが大きな違いはありませんでした。 インストール オプション、使い方 SMOBR SMOBRはPlatt氏によって提案された高速学習手法のSequential Minimal Optimizationを実装しているソフトウェアです。標準のライブラリだけを用いてC++で記述されているので、LinuxのgccやWindowsのDJ
SVM-Light: Support Vector Machine
SVMlight Support Vector Machine Author: Thorsten Joachims <thorsten@joachims.org> Cornell University Department of Computer Science Developed at: University of Dortmund, Informatik, AI-Unit Collaborative Research Center on 'Complexity Reduction in Multivariate Data' (SFB475) Version: 6.02 Date: 14.08.2008 Overview SVMlight is an implementation of Support Vector Machines (SVMs) in C. The main featu
村上・泉田研究室 ニューラルネットワーク
情報処理システムとしてのニューラルネットワークを設計するためには、生体ニューロンの動作を、数式で表現しなければなりません。このように、自然界の事象を数式によって表現することをモデル化とよびます。ところで、前のペ－ジで述べた生体ニューロンの動作は、さらに細かく見れば、実際には極めて複雑になっています。したがって、生体ニューロンの動作の全てを忠実にモデル化することは不可能です。そこで、ニューラルネットワークを構成する1つの要素として、生体のニューロンの動作の本質的な特徴を失うことなく、なるべく簡単な数式でモデル化する必要があります。このような、ニューロンのモデルは、1943年に、マッカロックとピッツ（McCullochとPitts）によって最初に提案されました。この、ニューロンモデルを図.2に示します。
プログラムと音楽 - FC2 BLOG パスワード認証
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
数値演算法 (4) 高速フーリエ変換
乗算処理を高速化するための手法として、前回は Karatsuba法と Toom-Cook法を紹介しました。どちらの方法も、数値を多項式として表現してその各係数を求めることによって、乗算結果を得ることができるということを利用しています。今回は、多項式を利用した手法としてまずは一般的な解法を考え、最終的には高速フーリエ変換を利用した乗算処理の高速化について説明したいと思います。 ● 「(2)多倍長整数の演算」の加算ルーチンについて 今回紹介するサンプル・プログラムの作成中、「(2)多倍長整数の演算」内の加算ルーチン(operator+=)においてバグが見つかり、修正を行いました。もし利用されている方がいましたら、差し替えをお願いします。バグの内容については、「(2)多倍長整数の演算」ページ下の更新履歴の中で簡単に説明してあります。
統計学的画像再構成法である
統計学的画像再構成法である OSEMアルゴリズムの基礎論 【第1章】確率・統計の基礎 １．１３ 最尤推定 やっと本命の最尤推定という言葉が出てきました．お待たせしました．この節はいままでの中で最も長く，少し難しい内容も出てきます．がんばってください．これが終わるといよいよ本命のMLEM，OSEMの章です． ところで“尤”なる字はあまり見かけませんね．“ゆう”と読みます．“いぬ”ではありません！！ この意味は「もっともらしい」という意味合いで，ある理論により得られた数字が，最も確からしい推定によって得られる理論を最尤推定法と呼んでいます．なんのことやら？ですが，皆さんよく使うもので，あるデータをグラフ上にプロットして“相関直線”を引いて，Rが幾つだから有意だ！ とかの結果を良く見ますよね．この直線は最小二乗法という方法で求めるのですが，これも最尤推定法の1つです．最も近似できる直線近似式で，
レディオヘッドによるカバー20曲がダウンロード無料
世界的に活躍するロックバンド「レディヘッド」の、カバー曲集が、海外の音楽情報サイトに公開された。ニール・ヤング、オアシス、ビョークなどの曲をカバーしており、なかなか聞き応えのある20曲。これらが無料でダウンロードできるとあって、海外のインターネットユーザーの間で、話題を集めている。 このカバー曲集を公開しているのは、「stereogum」だ。今まであまり知られていないレディオヘッドの、カバー曲ばかりを20曲集めて、無料ダウンロードを行っている。収録曲は以下の通り。 ・ Radiohead’s 20 Best Cover Songs 1． 「Wonderwall」 (オアシス) 2． 「Down By The River」 (ニールヤング) 3． 「Sing A Song For You」 (ティム・バックリィ) 4． 「I’ll Wear It Proudly」 (エルビス・コステロ) 5
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
痛快！サポートベクトルマシン -古くて新しいパターン認識手法- | CiNii Research
http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/SML/kernel.ppt
UCI Machine Learning Repository
ニューラルネットワークとは
微分積分