Survey1
Survey1 SVMを用いた固有表現抽出に関する論文のサーベイ 1.Support Vector Machineを用いた日本語固有表現抽出 2.Support Vector Machineの多値分類問題への適用法について 3.SVMに基づく固有表現抽出の高速化 4.日本語固有表現抽出における文節情報の利用 5.Stackingの効率的な学習方法と日本語固有表現抽出での評価 6.非頻出語に対して頑健な日本語固有表現の抽出 7.大域的情報を用いた日本語固有表現認識 SVMを利用した日本語固有表現抽出に関する論文が中心です． 固有表現タグを入力文の解析単位毎に正確に付与することが目的です． チャンカーは基本的にYamCha 1.Support Vector Machineを用いた日本語固有表現抽出 山田寛康 工藤拓 松本裕治 奈良先端科学技術大学院大学情報科学研究科 概要
DANG LABORATORY
Communication using speech production and speech perception is one of the basic ways for human to exchange information. Fully understanding such mechanisms of human.... Research Topic Topic Speech Production Mechanisms and Their Modeling. Speech Cognitive Science. Speech Communication within The Brain. Speech Synthesis with Specific Individuality and Emotion. Speech Recognition Considering Auditor
SMOの収束速い！ - きしだのHatena
KKT条件だけじゃなくて、変位の合計を見て収束しているかどうか判定するようにしたら、これめちゃくちゃ収束速いじゃないですか。 非線形分離の方で50回程度、線形分離の方だと2回とか3回で収束しちゃってます。 線形分離の場合で分離面が全然変なところに行っちゃうのは、バイアス(b)の求め方が悪かったからで、平均を取るようにしたらそれなりにいい感じのところに収まるようになりました。 とりあえず、これならいろいろとSVMを試すのに使えそうです。 さて、ところでこうやって実装したサポートベクターマシン、なんに使おう？ ソースはこれ。 import java.util.AbstractMap.SimpleEntry; import java.util.*; public class SMO implements LearningMachine{ public static void main(Strin
非線形サポートベクターマシン - きしだのHatena
とりあえず最適化の問題は置いておいて、ここを参考に非線形分離できるようにしてみました。 http://www.neuro.sfc.keio.ac.jp/~masato/study/SVM/SVM_3_1.htm さぁ，これで君も非線形SVMのコーディングができちゃうのだ．素晴らしき哉． ほんとにできた。 うん、ぼくにも非線形SVMのコーディングができちゃいましたよ！ すばらしきかな SVMも基本は線形分離なので、非線形分離に対応するにはパーセプトロンでやったようにデータの次元を増やしてそこで線形分離します。 で、SVMがすごいのはそこでの計算をごにょごにょして、データの次元を実際には増やさずに高次元で計算したことにしてしまうのです。 SVMでは全データ同士の内積の計算をしていたのですが、その代わりにカーネル関数と呼ばれる関数を使います。カーネル関数には、高次元で内積を計算したことになるよう
カーネルマシン・カーネル法 kernel machines (赤穂 昭太郎 / Shotaro Akaho)
カーネルマシン このページで紹介するのは統計的な学習の話で出て来る、カーネル関数を使った 学習機械の話です。 linux カーネルとかのカーネルではありません。 念のため。 カーネルマシンの代表格として SVM (サポートベクターマシン・ サポートベクトルマシン)、 GP (ガウシアンプロセス、正規過程) などがあります。 チュートリアル 電子情報通信学会ニューロコンピューティング研究会チュートリアル講演 赤穂：カーネルマシン, 信学技報 NC-2003-34 PDF file | PS file | HTML (この原稿には図がありません． 忍耐強く読んでください^^;) 印刷版からのミスプリ 発表スライド PDF file | PS file (こちらはイラストつきです^^) リンク集 www.kernel-machines.org: カーネルマシン関係が充実してます．
Support Vector Machine
最近よく巷で耳にするモノ． SVM， Support Vector Machine， さぽーとべくたーましん． これっていったい，どんなもんなんでしょう． なにやら便利そうなモノらしいので，ちょいと調べて要点をまとめてみようかな，なんて． でも，ただまとめただけだとそのへんの記事を読むのとなんにも変わらないので， コーディングするために必要な知識を中心にまとめてみることにします．
ガウシアンカーネルのパラメータを自動的に求めてみる - きしだのHatena
サポートベクターマシンでよく使うガウシアンカーネルでは、パラメータが重要になるということを書きました。 で、ちょうどいいところに、id:audioswitch:20080730で、そのガウシアンカーネルのパラメータを自動的に求める方法が書かれていたので、試してみました。 σ^2=100程度の数値が出てきます。(リンク先でのパラメータはσとかいてますが、ぼくのところでは同じ値をσ^2としてます。) 今回のデータでは、だいたいいい感じだけど、もう少し大きい数値のほうがいいかな〜という感じですね。それにしても、とりあえずの値を求めるにはよさそうです。 関係ある部分のソースだけを書いておきます。 private void btnLearnActionPerformed(java.awt.event.ActionEvent evt) { if(patterns.size() == 0) return
サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp 平成
サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp 平成 14 年 7 月 18 日 概 要 最近、サポートベクターマシン (Support Vector Machine, SVM) と呼ばれるパターン認識 手法が注目されており、ちょっとしたブームになっている。カーネルトリックにより非線形の識 別関数を構成できるように拡張したサポートベクターマシンは、現在知られている多くの手法の 中でも最も認識性能の優れた学習モデルの一つである。サポートベクターマシンが優れた認識性 能を発揮できるのは、未学習
サポートベクターマシーン(support vector machine)，ニューラルネットワーク(neural network)，ナイーブベイズ(naive bayes)，ディシジョンツリー(C4.5)(decision tree)，Ada Boost M1，Baggingなど．
このツールによって，視覚的にそれぞれの分類器の特徴をある程度理解できます．Javaによるデータマイニングツール wekaを使用して作成しました（作成した時点では，wekaのSVM(SMO)の実装は多項式カーネルであったのを，ガウシアンカーネルに書き換えています）． 使い方は，アプレット上部の「このメッセージが・・・」と書かれている場所で，右クリックと左クリックをして，青や赤のボールを作ってください．ある程度作成したら，アプレット下部の「lean」をクリックします．青玉と赤玉を分類する線が表示されます．分類に失敗した球にはバツ印が付きます． 各classifier(タブ)の説明 SVM Support Vector Machine classifier C parameter: slack variableの重み NeuralNetwork Neural Network classifier
SVMを使うとなにが嬉しいの？
SVM を使うと，なにが嬉しいの？ 戻る さて，SVM(Support Vector Machine)と言われるものが最近，巷（って言っても，主にパターン認識の分野だけどね）をにぎわしているんだけれど，いったいなにがすごいのだろう？ SVMは，パターン識別手法の一つなんだけれども，これまでもパターン識別手法というのはいくつも提唱されている． ニューラルネットワークを使ったパターン識別手法として最も親しみ深いのは，多層パーセプトロンをバックプロパゲーションで学習させる方法だけれど，SVMはバックプロパゲーション学習と比べてどんな「嬉しい」ことがあるんだろうか． ぶっちゃけた話，SVMの最大の特徴は「マージン最大化」にある．じゃあこの「マージン最大化」とは，なんだろう． ここで，「識別線の引き方」というものを考えてみたい． まず，2次元の特徴空間に次のような2つのクラスAと
サポートベクターマシン入門
次へ: はじめに サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp visitors since Jul. 19, 2002. 概要: 最近、サポートベクターマシン(Support Vector Machine, SVM)と呼ばれるパター ン認識手法が注目されており、ちょっとしたブームになっている。カーネルトリッ クにより非線形の識別関数を構成できるように拡張したサポートベクターマシン は、現在知られている多くの手法の中でも最も認識性能の優れた学習モデルの一 つである。サポートベクターマ
カーネル法 正定値カーネルを用いたデータ解析
1 2004 11 24~26 Final version. Nov.26, 2004 2 I 1. 2. � � 3. � � PCA CCA . � � Bochner � representer 3 II 5. � � � ICA, 7. 4 g(x) Parzen window ∑ = − = N i i x x g N x p 1 ) ( 1 ) ( 5 1. � 6 � ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = N m N m m X X X X X X X L M M L L 1 2 2 1 1 1 1 m N 7 x1 x2 z1 z3 z2 ) 2 , , ( ) , , ( 2 1 2 2 2 1 3 2 1 x x x x z z z = 8 � xi Φ(xi) zi H Ω H Ω H → Ω Φ : 9 � H = feature space
机上の空論:[メモ] サポートベクターマシン(SVM)
サポートベクターマシン(以下 SVM) とは ・ニューラルネットワークの一種 ・教師ありクラスタリング SVM の基本的な考え方 ・元々2クラスの線形分離手法として提案される ・単層パーセプトロンに似ているが、SVM はマージン最大化という手法をとっているのがポイント。 ・マージン最大化とは、超平面と学習データの隙間となるマージンをなるべく大きく取ろうというもの。 (ここでいう超平面とは、2つのクラスにぶった切る平面のこと) ・ちなみに超平面と、ちょうどマージンの分だけ離れている学習データをサポートベクトルという。 ・このマージン最大化という考えを取り入れることによって、テストデータの識別精度を高めている。 SVM の発展 ・線形分離不可能な問題への対応 - ソフトマージン(学習データが多少マージンにくい込んだり、反するクラスの空間にくい込んだりしても許す)で対応
サポートベクトルマシン
. . . . . . . . . . . . . . . . . . . . . VC Karush Kuhn Tucker (KKT) condition . . . . . . . . (1/4) z: ( ) F(z): z F(z) Z ≤ z Z g(z) z Eg(z) ≡ ∫ g(z)dF(z) (1) F(z) f(x) f(z) = dF dz ([z, z + dz] f(z)dz ) . . . . . . . . (2/4) g(z) Eg(z) = ∫ g(z) f(z)dz ( f(z) F(z) (1) ) z ( ) dα(z) (α ∈Λ) Λ α ⇔ Λ R(z, y) ≡ { 0 ( z y ) 1 . . . . . . . . (3/4) Q(α, z) Q(α, z) ≡ R(z, dα(z)) = { 0 dα(z) 1 dα(z) R(α)
SVM比較の感想1 | 離散世界の連続思考
【コンピュータ】 IE7を入れてみました。 アルファベットや数字がアンチエイリアスされていて気持ち悪い。 切ってしまうか、日本語もClearType対応のものにするか迷う。 【研究】 SVM lightとlibSVMとTinySVMの比較実験。 データはlibSVMのサイトにあるDataSet。 結構手間がかかるので、まだやり足りない部分があるのですが、 一応いくつかやってみたときの感想。 機種としてはPen3 866MHz。Mem 512MB。OS SUSE Linux 10.0。 あと設定として二次の多項式です。 どうもScalingした後のlibSVMは精度は良くなるが、かなり時間がかかる。 しない場合はたまに精度が良くなるけれども、全体的には悪い。悪すぎるときもある。 SVM lightは逆にScaling後のlibSVMよりは速い。 そして精度もそこそこ。 特筆すべきなのがTin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データマイニング勉強会3
『しかしSVMも最近は速いらしい - 射撃しつつ前転 改』へのコメント
エラーが発生しました
エラーが発生しました
Amazon.co.jp: サポートベクターマシン (知の科学): 小野田崇: 本