非線形SVM - 人工知能に関する断創録
今回は、非線形サポートベクトルマシンを試してみます。線形SVM（2010/5/1）は、カーネル関数に線形カーネル（ただの内積）を使いましたが、これを多項式カーネル（A）やガウスカーネル（B）に変更します。 カーネル関数は元のベクトルxを非線形写像によって高次元空間に写像した特徴ベクトルφ(x)の内積（C）で定義されます。 一般に特徴ベクトルφ(x)は高次元空間（無限次元空間でもOK）になるので普通にやってたら内積の計算量が非常に大きくなります。そこで、特徴ベクトルφ(x)の内積を計算せずに多項式カーネル（A）やガウスカーネル（B）の計算で置き換えるテクニックをカーネルトリックと呼ぶとのこと。多項式カーネルやガウスカーネルを使うとφ(x)を陽に計算する必要がなくなります。ただ、元の空間xでの内積は必要なんですよね・・・最初は、カーネルトリックのありがたみがよくわからなかったのですが、「入力空
非線形SVM 〜詳細説明〜
非線形SVM 〜 詳細説明 〜 戻る 問題が線形分離できないような場合，やっぱり非線形なモデルを考えたいわけで，常套手段はなんといっても，元の特徴空間を線形分離可能な別の特徴空間に変換してやってから線形分離してやる，っていう方法だよね．非線形SVMも例に漏れずこの方法を使う． 元の特徴空間におけるベクトルを，別の次元特徴空間に変換する関数を考える．は，スカラーを出力する任意の個の非線形関数を要素とするベクトルと定義する． (2.1) これを使って，非線形SVMの識別関数を次のように考える． ただし (2.2) 学習データは個与えられているとし，と表す．これらのデータを2つのクラスおよびに分離することを考える．この学習データ集合に対して，が次の条件を満たすようにパラメータを調節することを考える． (2.3) ここで学習データに関する教師信号をとし，次のように定義する．
AS10.pdf
2008 年度前期 応用統計学 第９回 判別分析とパターン認識 (3) − サポートベクタマシンとカーネル法 サポートベクタマシンは，空間中に配置された点の２つの集合を最適に分離する境界を，その集合に 属する点の分布を表す確率分布モデルを考えることなく求める方法です．その基本的アイデアは大変簡 単で，「境界を，それぞれの集合でもっとも境界に近い点のどちらからも，もっとも遠くなるように置 く」というものです．この簡単な考え方はかなり古くからあるものですが，最近ふたたび脚光を浴びて います．それは，空間をさらに高次元の空間に変換するのと同等の操作を行なう「カーネル法」という 方法を導入することによって，線形でない「曲がった」境界を求めることができるようになり，より複 雑な認識問題に対応できるようになったためです． 基本的なサポートベクタマシン まず最初に，前回のニューラルネットワークについて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/SML/kernel.ppt
