線形SVM - Qiita
AdventCalendar&Qiita初投稿です。 よろしくお願いします。 普段は深層学習をメインにやっているのですが、他の手法も学んでみようということで今回AdventCalendarの題材とさせていただきました。題材をSVMとしたのは、深層学習が台頭する以前にメジャーな識別器として使われていたこと、またニューラルネットワークと共に語られることが多いなどから、知っといて損はないかもなと思ったからです。 今回題材としたのは、データ点の実空間（写像等を適用する前の空間）に境界を設ける線形SVMのみです。 実際に使用するのであれば非線形の概念も抑えるべきなので、後々そちらの方にも触れてみようと思います。 SVMの基本的な事柄をまとめただけなので、既にありふれた内容だとは思いますがご容赦ください… それと内容にあまり自信がないので、もし間違いなどありましたら指摘していただけると嬉しいです。 S
SVMについて整理してみた。 - Qiita
・SVM(サポートベクターマシン)について ・また最後に、個人的な趣味でコンピュータ将棋における活用を まとめてみました。 #１．SVMの概要 SVM：Understanding Support Vector Machine algorithm from examples (along with code) http://www.analyticsvidhya.com/blog/2015/10/understaing-support-vector-machine-example-code/?utm_content=buffer4951f&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer 英語記事ですが、入りとしてはこちらが個人的なおすすめです。 数式での説明なしで、グラフィカルにSVMの概念を説明がしっかりとされていて
数学的に考えてみる(ハードマージンSVM) - Shogo Computing Laboratory
もっと数学的な説明が欲しい方のために、少しまとめてみました。 仕組み 簡単な仕組みはハードマージンSVMを参照してください。 JavaScript+SVGで実装した例があります。 問題の定式化 データがとのどちらかのクラスに分類されているものとします。 この分類が線形分離可能で、 で表される超平面で完全に分類できるものと仮定します。 ここでは重みベクトル、はバイアスパラメータです。 超平面の方程式は両辺を定数倍しても変わらないので、一つに決めることができません。 そこで、二つの超平面 の間(下図の点線の間)にはデータが存在しないという条件をつけることにします。 この条件はを使って次のように表すことができます。 このような条件下ではマージンはとかけます。 マージン最大化問題は、これを最大化するパラメータを求める問題と考えることができます。 ただし、これを直接最大化するは難しいので、次のように
最大マージン kNN と SVM の関係: kNN も最近はがんばっています - 武蔵野日記
先日書いた機械学習における距離学習の続き。 kNN (k-nearest neighbour: k 近傍法)は Wikipedia のエントリにも書いてある通り、教師あり学習の一つで、あるインスタンスのラベルを周辺 k 個のラベルから推定する手法。memory-based learning と呼ばれることもある。単純に多数決を取る場合もあれば(同点を解決する必要があるが)、近いインスタンスの重みを大きくする場合もあるのだが、いずれにせよかなり実装は単純なので、他の機械学習との比較(ベースライン)として使われることも多い。 簡単なアルゴリズムではあるが、1-NN の場合このアルゴリズムの誤り率はベイズ誤り率(達成可能な最小誤り率)の2倍以下となることが示されたり、理論的にもそれなりにクリアになってきているのではないかと思う。また、多クラス分類がちょっと一手間な SVM (pairwise に
Factorization Machines (ICDM 2010) 読んだ - 糞糞糞ネット弁慶
Factorization Machines (pdf) Factorization Machines with libFM (TOIS, pdf) CriteoやAvazuの Click-through rate コンペでも良い成績を残している (GitHub - guestwalk/kaggle-2014-criteo, GitHub - guestwalk/kaggle-avazu) Field-aware Factorization Machinesを知る前にまずは Factorization Machnes (以下FM) の論文を読む事にした． FMの紹介は他の人(Factorization Machinesについて調べてみた，Matrix Factorizationとは)も既に書いているが，それらを読んでもどうにも自分にはピンとこなかった．具体的には， 交互作用を考えようとする
Spark mllib 教師あり学習アルゴリズム精度測定 - Qiita
はじめに Apache Sparkの機械学習ライブラリーmllibを弊社のサービス、分析業務に使えるかを検討するために各種ベンチマークを実施する予定でいます。 その第一弾として、spark mllibの教師あり分類アルゴリズムの精度評価を実施したので、その結果を共有します。 spark mllib 教師あり分類アルゴリズム Spark mllibの教師あり分類アルゴリズムには Naive Bayes (NB) SVM (SVM) Logistic Regresssion (LR) Decision Tree (DT) Random Forest (RF) Gradient Boosted Tree (GBT) があります。 詳細な特徴などは、参考リンクを参考していただくとして、我々は、今回、次の観点からこれらのアルゴリズムの精度評価を実施しました。 線形分類器と非線形分類が可能な分類器との
SVMを実装してみた - xyz600の日記
授業でSVMについて習ったけど、実際に実装したことなかったからやってみた。簡単って言われてるけど、制約付き2次計画問題の実装が結構大変だった（収束しないケースとかたくさんあったり、制約条件を遵守したり） 参考にしたのは、以下の本やらページやら http://www.amazon.co.jp/%E3%82%B5%E3%83%9D%E3%83%BC%E3%83%88%E3%83%99%E3%82%AF%E3%82%BF%E3%83%BC%E3%83%9E%E3%82%B7%E3%83%B3%E5%85%A5%E9%96%80-%E3%83%8D%E3%83%AD-%E3%82%AF%E3%83%AA%E3%82%B9%E3%83%86%E3%82%A3%E3%82%A2%E3%83%8B%E3%83%BC%E3%83%8B/dp/4320121341/ref=sr_1_1?ie=UTF8&qi
Zinnia: 機械学習ベースのポータブルな手書き文字認識エンジン
Zinnia: 機械学習ベースのポータブルなオンライン手書き文字認識エンジン [日本語][英語] Zinniaは機械学習アルゴリズム SVM を用いたポータブルで汎用的な オンライン手書き文字認識エンジンです。Zinniaは組み込みの容易さと汎用性を高めるために、 文字のレンダリング機能は持っていません。Zinniaは文字のストローク情報を座標の連続として受け取り、 確からしい順にスコア付きでN文字の認識結果を返すだけに機能を限定しています。 また、認識エンジンは完全に機械学習ベースであるために、文字のみならずユーザの任意のマウス・ペンストロークに対して任意の文字列をマッピングするような認識エンジンを小コスト作成することができます。 主な特徴 機械学習アルゴリズムSVMによる高い認識精度 ポータブルでコンパクトな設計 -- POSIX/Windows (C++ STLのみに依存) リエント
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめてのパターン認識 第8章 サポートベクトルマシン
http://web.sfc.keio.ac.jp/~naoe/security/documents/naoe/Support_Vector_Machine.pdf
栗田多喜夫「サポートベクターマシン入門」（PDF）