ランプ損失サポートベクタ―マシン - 何らかのブログ
ICML2006のTrading convexity for scalabilityを元にざっくりとした解説。 SVMは凸関数の最適化問題であることによって、理論的にその性能が保証されているのが売りだけど、非凸関数も最適化したい！っていうのがモチベっぽい。 分類器 の最適化において、パラメタを として、 を最適化するのが通常のSVM。 この論文ではランプ損失を とおいて、 となる式をCCCP法を用いて最適化する。 式書くのだるくなったので論文からコピペ引用 で、pythonで実装してみた。 gist6f2fee705a197a608839 で、前回とおんなじ感じで適当に作ったサンプルを分類してみた。 matplotlib使ったせいか色がきつくてあれだけど、綺麗に分類てきてるっぽいので上手くいってるかも。 ただ、論文読んでもbの決定方法がよく分からなくてサポートベクトル？それぞれについて求ま
Kernel Cookbook
The Kernel Cookbook: Advice on Covariance functions by David Duvenaud Update: I've turned this page into a chapter of my thesis. If you've ever asked yourself: "How do I choose the covariance function for a Gaussian process?" this is the page for you. Here you'll find concrete advice on how to choose a covariance function for your problem, or better yet, make your own. If you're looking for softwa
developer's blog |
はじめに 今回はTensorflowを使って、シンプルなレコメンデーションシステムの構築を行ってみる。 レコメンデーションのアルゴリズムはいくつか存在するが、今回使うのは「協調フィルタリング（Collaborative Filtering）」と呼ばれるもの。 全体像 お薦めレストランを紹介するサービスがあったとする。ユーザは、利用したレストランに対して１〜５の評価をつけることができる。 このサービスでは、ユーザが過去につけた評価から、他のお薦めレストランを紹介する機能を作りたいと考えている。 まずは話を理解しやすくするために、以下のような少ないデータで考えてみる。 ここで、佐藤さんにはレストランBを紹介すべきなのか、それともレストランDを紹介すべきなのか。また、伊藤さんにはレストランAを紹介すべきなのか、それともレストランBを紹介すべきなのか。この部分を機械学習を使って解いてみたいと思う。
平面の方程式とその３通りの求め方 | 高校数学の美しい物語
3点 A(1,1,2),B(0,−2,1),C(3,−1,0)A(1,1,2),B(0,-2,1),C(3,-1,0)A(1,1,2),B(0,−2,1),C(3,−1,0) を通る平面の方程式を計算せよ。 レベルは高いですが3つの中で最も計算が単純な方法です。 平面内のベクトルは全てある定ベクトルと垂直になります。そのような定ベクトルを法線ベクトルと言います。法線ベクトルの1つをnundefined=(p,q,r)\overrightarrow{n}=(p,q,r)n=(p,q,r) とします。平面上の任意の一点を A(x0,y0,z0)A(x_0,y_0,z_0)A(x0,y0,z0) とすると， 点 P(x,y,z)P(x,y,z)P(x,y,z) が求める平面上にある ⟺ \iff⟺ APundefined\overrightarrow{AP}AP と法線ベクトル nund
線形SVM - Qiita
AdventCalendar&Qiita初投稿です。 よろしくお願いします。 普段は深層学習をメインにやっているのですが、他の手法も学んでみようということで今回AdventCalendarの題材とさせていただきました。題材をSVMとしたのは、深層学習が台頭する以前にメジャーな識別器として使われていたこと、またニューラルネットワークと共に語られることが多いなどから、知っといて損はないかもなと思ったからです。 今回題材としたのは、データ点の実空間（写像等を適用する前の空間）に境界を設ける線形SVMのみです。 実際に使用するのであれば非線形の概念も抑えるべきなので、後々そちらの方にも触れてみようと思います。 SVMの基本的な事柄をまとめただけなので、既にありふれた内容だとは思いますがご容赦ください… それと内容にあまり自信がないので、もし間違いなどありましたら指摘していただけると嬉しいです。 S
SVMについて整理してみた。 - Qiita
・SVM(サポートベクターマシン)について ・また最後に、個人的な趣味でコンピュータ将棋における活用を まとめてみました。 #１．SVMの概要 SVM：Understanding Support Vector Machine algorithm from examples (along with code) http://www.analyticsvidhya.com/blog/2015/10/understaing-support-vector-machine-example-code/?utm_content=buffer4951f&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer 英語記事ですが、入りとしてはこちらが個人的なおすすめです。 数式での説明なしで、グラフィカルにSVMの概念を説明がしっかりとされていて
LIBLINEARで分類したい！(2) | Synergy Marketing LAB
「2013年は彗星ラッシュだ！」と騒いでいたくせに、未だ今年最初の彗星が見れていない東です。 さて前回は、LIBLINEARにおける分類時のバイアスの効果について説明しました。 では、学習時にはバイアスはどのように働くのでしょうか。 ■ バイアスと学習の関係。 前回引用したLIBLINEARの論文の2章を再掲します。 In some cases, the discriminant function of the classifier includes a bias term, . LIBLINEAR handles this term by augmenting the vector and each instance with an additional dimension: , where is a constant specified by the user. 識別関数にはバイアス
数学的に考えてみる(ハードマージンSVM) - Shogo Computing Laboratory
もっと数学的な説明が欲しい方のために、少しまとめてみました。 仕組み 簡単な仕組みはハードマージンSVMを参照してください。 JavaScript+SVGで実装した例があります。 問題の定式化 データがとのどちらかのクラスに分類されているものとします。 この分類が線形分離可能で、 で表される超平面で完全に分類できるものと仮定します。 ここでは重みベクトル、はバイアスパラメータです。 超平面の方程式は両辺を定数倍しても変わらないので、一つに決めることができません。 そこで、二つの超平面 の間(下図の点線の間)にはデータが存在しないという条件をつけることにします。 この条件はを使って次のように表すことができます。 このような条件下ではマージンはとかけます。 マージン最大化問題は、これを最大化するパラメータを求める問題と考えることができます。 ただし、これを直接最大化するは難しいので、次のように
最大マージン kNN と SVM の関係: kNN も最近はがんばっています - 武蔵野日記
先日書いた機械学習における距離学習の続き。 kNN (k-nearest neighbour: k 近傍法)は Wikipedia のエントリにも書いてある通り、教師あり学習の一つで、あるインスタンスのラベルを周辺 k 個のラベルから推定する手法。memory-based learning と呼ばれることもある。単純に多数決を取る場合もあれば(同点を解決する必要があるが)、近いインスタンスの重みを大きくする場合もあるのだが、いずれにせよかなり実装は単純なので、他の機械学習との比較(ベースライン)として使われることも多い。 簡単なアルゴリズムではあるが、1-NN の場合このアルゴリズムの誤り率はベイズ誤り率(達成可能な最小誤り率)の2倍以下となることが示されたり、理論的にもそれなりにクリアになってきているのではないかと思う。また、多クラス分類がちょっと一手間な SVM (pairwise に
Factorization Machines (ICDM 2010) 読んだ - 糞糞糞ネット弁慶
Factorization Machines (pdf) Factorization Machines with libFM (TOIS, pdf) CriteoやAvazuの Click-through rate コンペでも良い成績を残している (GitHub - guestwalk/kaggle-2014-criteo, GitHub - guestwalk/kaggle-avazu) Field-aware Factorization Machinesを知る前にまずは Factorization Machnes (以下FM) の論文を読む事にした． FMの紹介は他の人(Factorization Machinesについて調べてみた，Matrix Factorizationとは)も既に書いているが，それらを読んでもどうにも自分にはピンとこなかった．具体的には， 交互作用を考えようとする
パーセプトロンの概観とディープラーニングへ - HELLO CYBERNETICS
パーセプトロンとサポートベクターマシンの考え方の違いをまとめます。 いずれも線形分離を達成するための手法ですが、線形分離ができない場合はそれぞれ違った手法で線形分離ができそうな問題へと変換していきます。実を言うと幾何的には両方とも同じ処理方法で解決をしようとしているのですが、その解決方法を見つける手段が異なっていると見ることができます。 パーセプトロンの発想 線形分離不可能な問題に対しての発展 ・補足 まとめ パーセプトロンの発想 パーセプトロンがいかにして問題を解決しようとするかは、簡潔に以下の図で表すことができます。ここでは簡単のために二次元の二値分類を行います。 プロットされたデータに対して、どの点がどちらのデータに属するのか（オレンジか青か）を教えることで、適当な分類直線(1)を少しずつ変えていき(2)、最終的に線形分離可能ならば分類直線を必ず見つけ出します(3)。 もっと高次元に
ラグランジュの未定乗数法による等式制約付き非線形最適化の概要と例題 - MyEnigma
数学で考える経済学 いかにして問題を処理するか 目次 目次 はじめに ラグランジュの未定乗数法 例題 参考資料 MyEnigma Supporters はじめに 非線形最適化は、 機械学習や、ロボット工学などで 非常に広く利用されますが、 単純な非線形最適化だけでなく、 変数などに制約を与えたい場合に よく使用されるのが、 ラグランジュの未定乗数法です。 機械学習などでよく使用される SVMなどにも使用されています。 今回は、 このラグランジュの未定乗数法の概要と、 具体的にラグランジュの未定乗数法で 最適化問題を解くPythonサンプルコードを紹介したいと思います。 ラグランジュの未定乗数法 ラグランジュの未定乗数法は、 拘束条件がある中で、 最適化を実現する手法です。 ラグランジュの未定乗数法 - Wikipedia ラグランジュ乗数という新しい変数を導入することで、 拘束条件付きの最
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonでSVM実装 - Qiita
https://www.anlp.jp/proceedings/annual_meeting/2015/pdf_dir/D3-2.pdf
２次損失サポートベクトルマシンの 非線形正則化パスに関する一考察
劣勾配法によるSVMの学習 - 油を売って怒りを買う.blog
https://kaigi.org/jsai/webprogram/2009/pdf/102.pdf
はじめてのパターン認識 第8章 サポートベクトルマシン
機械学習の分類の話 · chezou/notebooks · GitHub
http://web.sfc.keio.ac.jp/~naoe/security/documents/naoe/Support_Vector_Machine.pdf