SVM実践ガイド (A Practical Guide to Support Vector Classification) - シリコンの谷のゾンビ
SVMツールで有名なLIBSVMの作者らがまとめた "A Practical Guide to Support Vector Classification" という良資料[1]の日本語解説資料をまとめてみたので公開． SVM実践ガイド (A Practical Guide to Support Vector Classification) View more presentations from sleepy_yoshi 元資料はこちら 本資料作成のきっかけは，まわりの人に「SVMとかいう手法使ったんだけど，機械学習よくわからなくてさ」という感じで相談を受けて「カーネルは何使ってるの?」「素性のスケーリングはした?」「Cパラメータは調整した?」というようなことを聞くのだけれど，「???」というやりとりにうんざりしたから． その都度，Cパラメータというものがありまして〜，カーネルというものが
ラグランジュの未定乗数法
ラグランジュの未定乗数法 戻る SVMについての記事を読んでいて絶対に避けて通れないのが，ラグランジュの未定乗数法だ．なんたって，これを使うことで「サポートベクトル」の決定が可能になるんだから，これがわからなくっちゃ始まらない． ラグランジュの未定乗数法がどうやって導出されたか，っていうことはここでは説明しない．どのようなものか，だけを述べる． ラグランジュの未定乗数法の定義 個の変数を要素として持つ変数列に関して個の制約条件 が与えられていたとする． この制約条件の下で関数が極値をとるようなを求めたいとき，もうひとつの変数列を使って次のような関数を考える． この関数の極値条件 を満たす解の中にある．ここでをラグランジュの未定乗数という． 「難しくってわかんねーよ」という人，ちょっと待っておくれ．小難しい書き方に惑わされてはいけない．これはそんなに難しいものではないんだ
ところでサポートベクターマシンって何なの？ - きしだのHatena
最近、機械学習とか、そのアルゴリズムのひとつであるサポートベクターマシンとかやってるわけですが、そもそも機械学習ってなんなんでしょか？ 機械学習ってのは、なんとなく与えられた点の分類から、新たに与えられた点の分類を推測するのですが、ようするに、点が与えられたときにそこから分類の領域を推測しておいて、新たな点がきたときにはどの領域に入るかを判別するのです。 ニューラルネットワークは、名前にニューロンとかついてて、とてもステキな響きがするのですが、あれは関数のあてはめを行っているのです。そうやって関数をあてはめることで、領域の境界面を求めます。 NN法は、学習とかせず、一番近いデータが同じ分類になるはずという戦略でやってます。 サポートベクターマシンも考え方としてはNN法と同じで、新しい点がやってくると、学習したそれぞれの点までの近さを計算して、一番ちかい分類を求めます。そのため、学習データが
データマイニング勉強会3
SVM実践ガイド (A Practical Guide to Support Vector Classification)sleepy_yoshi
Zinnia: 機械学習ベースのポータブルな手書き文字認識エンジン
Zinnia: 機械学習ベースのポータブルなオンライン手書き文字認識エンジン [日本語][英語] Zinniaは機械学習アルゴリズム SVM を用いたポータブルで汎用的な オンライン手書き文字認識エンジンです。Zinniaは組み込みの容易さと汎用性を高めるために、 文字のレンダリング機能は持っていません。Zinniaは文字のストローク情報を座標の連続として受け取り、 確からしい順にスコア付きでN文字の認識結果を返すだけに機能を限定しています。 また、認識エンジンは完全に機械学習ベースであるために、文字のみならずユーザの任意のマウス・ペンストロークに対して任意の文字列をマッピングするような認識エンジンを小コスト作成することができます。 主な特徴 機械学習アルゴリズムSVMによる高い認識精度 ポータブルでコンパクトな設計 -- POSIX/Windows (C++ STLのみに依存) リエント
[メモ] サポートベクターマシン(SVM) - 机上の空論
サポートベクターマシン(以下 SVM) とは ・ニューラルネットワークの一種 ・教師ありクラスタリング SVM の基本的な考え方 ・元々2クラスの線形分離手法として提案される ・単層パーセプトロンに似ているが、SVM はマージン最大化という手法をとっているのがポイント。 ・マージン最大化とは、超平面と学習データの隙間となるマージンをなるべく大きく取ろうというもの。 (ここでいう超平面とは、2つのクラスにぶった切る平面のこと) ・ちなみに超平面と、ちょうどマージンの分だけ離れている学習データをサポートベクトルという。 ・このマージン最大化という考えを取り入れることによって、テストデータの識別精度を高めている。 SVM の発展 ・線形分離不可能な問題への対応 - ソフトマージン(学習データが多少マージンにくい込んだり、反するクラスの空間にくい込んだりしても許す)で対応
Support Vector Machine
人間には卓越した学習能力が備わっている．人間は目で見たり，耳で聞いたものが何であるかをいとも簡単に認識できる．また，未知の環境に適応する能力も優れている．それに対し，コンピュータは，与えられた指示（プログラム）どおりに高速に計算を行う能力においては優れているが，学習能力という点においては，人間とは比較にならない． そこで，人間のような学習能力をもった機械（モデル）を作るための学習理論が発達してきた．その代表的な成果の1つとして，多層パーセプトロンが挙げられる．多層パーセプトロンは1980年代に開発され，これまで多方面に応用されてきた．しかし，望ましくない局所最適解への収束，中間層の素子数の選択など，いくつかの問題点がある． サポートベクターマシン(Support Vector Machine:SVM) は，このような問題を解決した学習機械として知られている．サポートベクターマシンとは，1
きしだのHatena
LINEヤフーから日本語CLIPが出ていたので、どうやって使うんだろうと試してたら、なんかめちゃくちゃ便利な画像検索ができてしまいました。 clip-japanese-basic LINEヤフーの日本語CLIP、clip-japanese-baseはこちらで紹介されています。 高性能な日本語マルチモーダル基盤モデル「clip-japanese-base」を公開しました HuggingFaceのモデルはこちら。 https://huggingface.co/line-corporation/clip-japanese-base CLIPとは？ ところでCLIPとは、となりますけど、OpenAIが公開してる、言語と画像を扱える機械学習モデルです。Contrastive Language-Image Pre-Trainingの略らしい。 https://openai.com/index/clip
きまぐれ日記
2010年04月21日 MeCabがiPhone,OSXに載っていると言うのは止めようと思う iPhoneのSDKの条項に変更が加わり、Flashのクロスコンパイルを含む 純正開発ツール以外で作成されたバイナリの配布が禁止となるようです。 世間でも散々言われていますが、この変更は正直とても残念です。 Apple的には「製品のクオリティーが保てないから」という理由だそうですが、 Windows版iTunesが意味もなくQuickTime入れたり、Windows非標準のUIを 使いまくっていて、お世辞にもクオリティーが高いとは言えないのを棚にあげて、 クオリティー云々と言い訳できるのでしょうか。アプリなんて所詮 玉石混淆。決めるのはユーザです。 MeCabは以前GPL/LGPLでした。Appleを含む複数の方からこのライセンスでは 使いにくいと言う指摘をうけ、前職の同僚と協議をしながらBSD/
コンピュータビジョンの日々
Apache Waveとして復活するらしい。 WaveProposal - Incubator Wiki 数年ぶりだろうか、ひさびさにTeXを使いたくなった。 自宅のMacBookで使いたいと思い、こちらを参考にしてインストールさせてもらった。 さっそく簡単なTeXソースを作って出力してみたものの、日本語が上手く表示されない。 フォント周りの設定等を調べてもおかしな点はない。はて？と悩むこと数十分。ようやく判明した原因は、いつもの癖でSJISでソースを書いていたことだった。 nkf でソースを UTF-8に変換したら無事に表示できた。 しかし、こうして見ると、温故知新だなぁ。nkfなんて２０年近く使っているのではないか。emacsもtexもそう。いまでも現役で使えるのが素晴らしい。これぞ人類の叡智の蓄積だ。 あと数十年もすれば、「おじいちゃんから手ほどきを受けた子供が、大人になってTeXで
机上の空論:[メモ] サポートベクターマシン(SVM)
サポートベクターマシン(以下 SVM) とは ・ニューラルネットワークの一種 ・教師ありクラスタリング SVM の基本的な考え方 ・元々2クラスの線形分離手法として提案される ・単層パーセプトロンに似ているが、SVM はマージン最大化という手法をとっているのがポイント。 ・マージン最大化とは、超平面と学習データの隙間となるマージンをなるべく大きく取ろうというもの。 (ここでいう超平面とは、2つのクラスにぶった切る平面のこと) ・ちなみに超平面と、ちょうどマージンの分だけ離れている学習データをサポートベクトルという。 ・このマージン最大化という考えを取り入れることによって、テストデータの識別精度を高めている。 SVM の発展 ・線形分離不可能な問題への対応 - ソフトマージン(学習データが多少マージンにくい込んだり、反するクラスの空間にくい込んだりしても許す)で対応
[チュートリアル講演] カーネルマシン
次へ: はじめに [チュートリアル講演] カーネルマシン 赤穂 昭太郎1 Shotaro Akaho s.akaho@aist.go.jp 概要: サポートベクタマシン (SVM) に代表されるカーネルを用いた学習機械について解説する． これらにほぼ共通しているのは，基本的に線形の学習機械の延長線上にあり， ローカルミニマムの問題などが少ないこと，それから，正則化を行うことにより 高い記述能力と汎化能力を両立していることが特長である． キーワード: サポートベクタマシン，正則化，スパースネス，数理計画法， 汎化 Kernel machines such as the support vector machine are reviewed. Most of them are not suffered from the local optimum problem, because they
サポートベクターマシン入門
次へ: はじめに サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp visitors since Jul. 19, 2002. 概要: 最近、サポートベクターマシン(Support Vector Machine, SVM)と呼ばれるパター ン認識手法が注目されており、ちょっとしたブームになっている。カーネルトリッ クにより非線形の識別関数を構成できるように拡張したサポートベクターマシン は、現在知られている多くの手法の中でも最も認識性能の優れた学習モデルの一 つである。サポートベクターマ
Support Vector Machine
最近よく巷で耳にするモノ． SVM， Support Vector Machine， さぽーとべくたーましん． これっていったい，どんなもんなんでしょう． なにやら便利そうなモノらしいので，ちょいと調べて要点をまとめてみようかな，なんて． でも，ただまとめただけだとそのへんの記事を読むのとなんにも変わらないので， コーディングするために必要な知識を中心にまとめてみることにします．
きまぐれ日記: タグとマルチラベル問題と機械学習
ネット上のサービスを見ていると、メールなりWebページをある一意のカテゴリに分類するという整理法から、タグ（ラベル）をつけるという整理法に変わってきているようです。 代表的な例は Gmail。フォルダという概念はなくメールにラベルを付与していきます。私が良く使う方法は、「リマインダー」のラベル（メールの重要さという観点）と「内容」のラベルです。二つはそれぞれ独立した分類方法ですが、フォルダだと同居できません。他の例だと「はてなブックマーク」があります。ユーザが任意のタグを付与することができます。 機械学習の言葉を使えば、従来のフォルダは「シングルラベル」の分類問題、後者のタグは「マルチラベル」分類問題となります。文字どおり、前者はインスタンスに対し1つのラベルのみを付与する問題、後者は複数のラベルを付与する問題です。 さて、機械学習の分野でマルチラベル問題はどう進展してるのでしょうか？実際
SVM-Light: Support Vector Machine
SVMlight Support Vector Machine Author: Thorsten Joachims <thorsten@joachims.org> Cornell University Department of Computer Science Developed at: University of Dortmund, Informatik, AI-Unit Collaborative Research Center on 'Complexity Reduction in Multivariate Data' (SFB475) Version: 6.02 Date: 14.08.2008 Overview SVMlight is an implementation of Support Vector Machines (SVMs) in C. The main featu
Ruby SVM
SVM means "Support Vector Machine", a general-purpose machine learning algorithm. SVMs deliver state-of-the-art performance in real-world applications such as text categorization, hand-written character recognition, image classification, and bioinformatics. Developed by Vladimir Vapnik, SVMs perform the Structural Risk Minimization (SRM) principle, which minimizes an upper bound on the generaliza
サポートベクターマシン入門
次へ: はじめに サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp visitors since Jul. 19, 2002. 概要: 最近、サポートベクターマシン(Support Vector Machine, SVM)と呼ばれるパター ン認識手法が注目されており、ちょっとしたブームになっている。カーネルトリッ クにより非線形の識別関数を構成できるように拡張したサポートベクターマシン は、現在知られている多くの手法の中でも最も認識性能の優れた学習モデルの一 つである。サポートベクターマ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ
http://www.bi.a.u-tokyo.ac.jp/~tak/index.html