サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
ノーベル賞
www.neuro.sfc.keio.ac.jp/~masato
線形SVM 〜 数式の説明 〜 戻る 前ページで線形SVMのコーディングに必要な式を紹介したけれど,それだけでは納得できん,中身までちゃんと教えてくれ,という向きには,このページでちゃんと説明する. 前ページの再掲になるけれど,線形識別関数を次のように定義する. ただし. (1.1) は入力ベクトル,ベクトルおよびスカラーは識別関数を決定するパラメータ. 学習データは個与えられているとし,と表す.これらのデータを2つのクラスおよびに分離することを考える.この学習データ集合に対して,が次の条件を満たすようにパラメータを調節することを考える. (1.2) (OpenOfficeの数式ツールで左括弧ってどうやって出すの?) ところで,点から分離境界との距離はとなる(どうしてそうなるかって?それは自分で考えてみてね). ということは,(1.2)式を満たす識別関数において,学
最急降下法 戻る ニューラル関連の学習則は,この方法を使っていることが多い.バックプロパゲーションだって最急降下法だし,ホップフィールドモデルだって最急降下法を使ってる. エネルギー関数最小化(または最大化)を目的とする問題では,パラメータ逐次更新の方法として最急降下法を使うのが常套手段だ.理屈さえ分かれば,それほど難しい話ではないからね. 最急降下法: まず最小化(または最大化)すべき基準となる,ある関数が与えられているとする.この関数を最小化(または最大化)するようなを求めるのが目的なのだが,まずに適当な初期値を与え,次のような方法でを逐次更新していく. (を最小化する場合) (を最大化する場合) ここでは 1 より小さな正の値とする. で,なんでこの方法で関数を最小化(または最大化)できるのかというと,図で説明するとこんな感じになる(最小化に関して説明する).
非線形SVM 〜 コーディングに必要な式 〜 戻る 非線形SVMの識別関数は,次のように定義される. ただし. は入力ベクトル,およびは識別関数を決定するパラメータ,はSV,はSVの数である.はベクトルおよびを引数とする関数で,カーネル関数と呼ばれる. カーネル関数はある条件を満たしているものであればなんでもいいのだが(詳細は次ページ参照),通常は次のような「多項式型カーネル」または「ガウシアン型カーネル」が用いられる. 多項式型カーネル関数: ガウシアン型カーネル関数: は多項式型カーネル関数の次数を決定するパラメータ,はガウシアン型カーネル関数の拡がりを決定するパラメータで,いずれもユーザが事前に値を定義する. ニューラル的な表現をすると識別関数は3層のネットワークと見ることもできる.は結合係数,はバイアス結合あるいは出力ニューロンの閾値と考えることが出来る. さ
線形SVM 〜 コーディングに必要な式 〜 戻る 線形SVMの識別関数は,次のように定義される. ただし. は入力ベクトル,ベクトルおよびスカラーは識別関数を決定するパラメータ. ニューラル的な表現をすると識別関数は2層パーセプトロンと見ることもできて,は結合係数,はバイアス結合あるいは出力ニューロンの閾値と考えることが出来る. さて,パラメータとを学習によって求めたいわけである. SVMの学習は,バックプロパゲーションのようにこれらのパラメータを直接,逐次学習によって求めるわけではない.ラグランジュ未定乗数ベクトルを学習により求めることで,パラメータおよびを求める,というまどろっこしい方法をとるのですよ.意味については次ページで説明するので,ここでは必要な式だけをまとめる. 学習データは個与えられているとし,と表す.これらのデータを2つのクラスおよびに分離することを考え
バックプロパゲーションを擁護する (ただし,ここに書くことはあくまでも僕個人の意見.) 戻る さて,巷の見解ではまるでバックプロパゲーションがSVMより劣っているかのように言われておりますが, そんな意見には「ちょっと待った」と言いたい. そもそも,バックプロパゲーションとSVMを比較すること自体がナンセンスなのだ. それに気付いていない研究者が多いような気がするのですが,どうですか. バックプロパゲーションの最も得意とする問題はなにか. そこからまず考えねばならんでしょう,やっぱり. 「バックプロパゲーションがSVMと比較して劣っている」 と考えている人たちの最大の問題点は, バックプロパゲーションを識別機械の学習則としてしか考えていないことだ. 確かに特徴空間の分離という観点から考えれば, 「マージン最大化」という明確な基準を持ったSVMの学習則は優れている
非線形SVM 〜 詳細説明 〜 戻る 問題が線形分離できないような場合,やっぱり非線形なモデルを考えたいわけで,常套手段はなんといっても,元の特徴空間を線形分離可能な別の特徴空間に変換してやってから線形分離してやる,っていう方法だよね.非線形SVMも例に漏れずこの方法を使う. 元の特徴空間におけるベクトルを,別の次元特徴空間に変換する関数を考える.は,スカラーを出力する任意の個の非線形関数を要素とするベクトルと定義する. (2.1) これを使って,非線形SVMの識別関数を次のように考える. ただし (2.2) 学習データは個与えられているとし,と表す.これらのデータを2つのクラスおよびに分離することを考える.この学習データ集合に対して,が次の条件を満たすようにパラメータを調節することを考える. (2.3) ここで学習データに関する教師信号をとし,次のように定義する.
ラグランジュの未定乗数法 戻る SVMについての記事を読んでいて絶対に避けて通れないのが,ラグランジュの未定乗数法だ.なんたって,これを使うことで「サポートベクトル」の決定が可能になるんだから,これがわからなくっちゃ始まらない. ラグランジュの未定乗数法がどうやって導出されたか,っていうことはここでは説明しない.どのようなものか,だけを述べる. ラグランジュの未定乗数法の定義 個の変数を要素として持つ変数列に関して個の制約条件 が与えられていたとする. この制約条件の下で関数が極値をとるようなを求めたいとき,もうひとつの変数列を使って次のような関数を考える. この関数の極値条件 を満たす解の中にある.ここでをラグランジュの未定乗数という. 「難しくってわかんねーよ」という人,ちょっと待っておくれ.小難しい書き方に惑わされてはいけない.これはそんなに難しいものではないんだ
ゲシュタルトの法則 Gestalt Principle 図形要素の体制化に関して Koffka,Kohler,Wertheimer らゲシュタルト心理学者によって行われた研究がある. ゲシュタルト(gestalt)とはドイツ語で「姿」「形」「現象」などを意味する. 彼らは視知覚に関して 「個々の要素が組み合わさることによって全体(ゲシュタルト)が体制化される」 とする以下のようなゲシュタルトの法則をまとめた. 近接の法則 principle of proximity 類同の法則 principle of similarity 共通運命の法則 principle of common fate 良い連続の法則 principle of good continuation 閉合の法則 principle of closure 面積法則 principle of area 対称性の法則 pr
Masato Aoba's Web-page Title fractal images are... created by Masato Aoba powered by Tiera-Zon V2.8
最近よく巷で耳にするモノ. SVM, Support Vector Machine, さぽーとべくたーましん. これっていったい,どんなもんなんでしょう. なにやら便利そうなモノらしいので,ちょいと調べて要点をまとめてみようかな,なんて. でも,ただまとめただけだとそのへんの記事を読むのとなんにも変わらないので, コーディングするために必要な知識を中心にまとめてみることにします.
SVM を使うと,なにが嬉しいの? 戻る さて,SVM(Support Vector Machine)と言われるものが最近,巷(って言っても,主にパターン認識の分野だけどね)をにぎわしているんだけれど,いったいなにがすごいのだろう? SVMは,パターン識別手法の一つなんだけれども,これまでもパターン識別手法というのはいくつも提唱されている. ニューラルネットワークを使ったパターン識別手法として最も親しみ深いのは,多層パーセプトロンをバックプロパゲーションで学習させる方法だけれど,SVMはバックプロパゲーション学習と比べてどんな「嬉しい」ことがあるんだろうか. ぶっちゃけた話,SVMの最大の特徴は「マージン最大化」にある.じゃあこの「マージン最大化」とは,なんだろう. ここで,「識別線の引き方」というものを考えてみたい. まず,2次元の特徴空間に次のような2つのクラスAと
このページを最初にブックマークしてみませんか?
『www.neuro.sfc.keio.ac.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く