[B! SVM][機械学習] zmsgnkのブックマーク

サポートベクターマシン（SVM）

トップページ→研究分野と周辺→ニューラルネットワーク→ サポートベクターマシン（SVM）は、1995年頃にAT&TのV.Vapnikが発表したパターン識別用の教師あり機械学習方法であり、局所解収束の問題が無い長所がある。「マージン最大化」というアイデア等で汎化能力も高め、現在知られている方法としては、最も優秀なパターン識別能力を持つとされている。また、カーネル・トリックという魔法のような巧妙な方法で、線形分離不可能な場合でも適用可能になった事で応用範囲が格段に広がり、近年研究が盛んになっている。しかし、データを2つのグループに分類する問題には優れているが、多クラスの分類にそのまま適用出来ず、計算量が多い、カーネル関数の選択の基準も無い等の課題も指摘され、一概に誤差逆伝播法等と比較して優れていると言い切れるものでもない。 SVMは厳密にはニューラルネットワークではないが、中間層から出力

zmsgnk 2014/09/08

リンク

線形SVM 〜詳細説明〜

線形SVM 〜数式の説明〜戻る前ページで線形SVMのコーディングに必要な式を紹介したけれど，それだけでは納得できん，中身までちゃんと教えてくれ，という向きには，このページでちゃんと説明する．前ページの再掲になるけれど，線形識別関数を次のように定義する．ただし． (1.1) は入力ベクトル，ベクトルおよびスカラーは識別関数を決定するパラメータ．学習データは個与えられているとし，と表す．これらのデータを2つのクラスおよびに分離することを考える．この学習データ集合に対して，が次の条件を満たすようにパラメータを調節することを考える． (1.2) （OpenOfficeの数式ツールで左括弧ってどうやって出すの？）ところで，点から分離境界との距離はとなる（どうしてそうなるかって？それは自分で考えてみてね）．ということは，(1.2)式を満たす識別関数において，学

zmsgnk 2014/09/08

リンク

http://www.bi.a.u-tokyo.ac.jp/~tak/index.html

zmsgnk 2014/09/03

リンク

SVM のチューニングのしかた（１） - ほくそ笑む

SVM のチューニング SVM(Support Vector Machine) はみなさん御存じ機械学習の手法です。 SVM はデフォルト設定でモデルを作ってもしょうがないです。gamma と cost というパラメータがあるので、これらの値に最適値を設定しなければなりません。R の SVM の Help にもこう書いてあります。 Parameters of SVM-models usually must be tuned to yield sensible results! (訳) SVM でいい結果出したかったらチューニングしろよな！というわけで、SVM のチューニングのしかたについて説明したいと思います。交差検証おっと、その前に、交差検証の話をしなければなりません。 SVM モデルをチューニングする際、二つのパラメータでグリッドサーチをします。すなわち、パラメータをいろいろ変

zmsgnk 2014/09/03

リンク

パッケージユーザーのための機械学習(3)：サポートベクターマシン(SVM) - 渋谷駅前で働くデータサイエンティストのブログ

（※はてなフォトライフの不具合で正しくない順番で画像が表示されている可能性があります） PythonでSMO-SVM書き下すという宿題がまだ終わってないくせにこれ書いていいのか物凄く迷うんですが（笑）、R Advent Calendar 2013の12月6日分第6回の担当に当たっているのでついでに書いちゃいます。なのですが。実はその12月6日は米ネバダ州・タホ湖畔で開催中のNIPS 2013に参加中*1でupできるかどうか分からない*2ので、タイムスタンプ変えて予めupさせてもらいました。ルール破っちゃってごめんなさい。。。ということで、今回の参考文献はこちら。未だに評は分かれるみたいですが、僕が推すのはいわゆるSVM赤本こと『サポートベクターマシン入門』です。サポートベクターマシン入門作者: ネロクリスティアニーニ,ジョンショー‐テイラー,Nello Cristianini,Jo