多クラス Passive Aggressive アルゴリズムの平均化 - ny23の日記
先日実装した多クラス Passive Aggressive アルゴリズムに平均化を実装してみた．コードは C++0x で多クラス分類器を実装してみた - ny23の日記 を参照．実装したと言っても大したものではなく，本質的には追加したのは4行（USE_AVERAGING で囲われたところ）．平均化すると，収束を待つ必要がなくなるので，繰り返し回数を 20->5 に変更して実験． # MacBook Air (Mid 2011); Intel Core i7 1.7 Ghz CPU, 4 GB Memory > g++ -DUSE_AVERAGING -std=c++0x -Wall -O2 spa.cc -o spaa # covtype > run spaa PA1 covtype.train covtype.test 0.1 5 read: 0.827s train: .....0.9
ACL2011読み会で発表してきました
今日は、サイボウズ・ラボさんにおじゃまして、ACL2011読み会で発表しました 今日読んだ論文はこれです。 Exploiting Web-Derived Selectional Preference to Improve Statistical Dependency Parsing. Guangyou Zhou, Jun Zhao, Kang Liu, Li Cai. ACL2011. [pdf] 発表スライドはこちらです。 内容はすごい簡単です。一言で言えば、単語の出現確率のPMIをgraph baseの係り受け解析の特徴量にいれたら精度が上がりました。これだけ。でも、これだけ主張が短くてはっきりしていて、アイデアも適用方法も明確なのは良いと思いました。一方で、いかにも誰かやってそうな方法で、既存研究ないのかという方が気になる論文です。 さて、もうちょっとちゃんと説明しましょう。係り受け
Locality Sensitive Hashing (LSH) Home Page
LSH Algorithm and Implementation (E2LSH) Locality-Sensitive Hashing (LSH) is an algorithm for solving the approximate or exact Near Neighbor Search in high dimensional spaces. This webpage links to the newest LSH algorithms in Euclidean and Hamming spaces, as well as the E2LSH package, an implementation of an early practical LSH algorithm. Check out also the 2015--2016 FALCONN package, which is a
Admissible heuristic - Wikipedia
In computer science, specifically in algorithms related to pathfinding, a heuristic function is said to be admissible if it never overestimates the cost of reaching the goal, i.e. the cost it estimates to reach the goal is not higher than the lowest possible cost from the current point in the path.[1] In other words, it should act as a lower bound. It is related to the concept of consistent heuris
ACL2011読み会でQuery Weighting for Ranking Model Adapationを発表しました - シリコンの谷のゾンビ
ACL2011読み会に参加して発表してきました．会場を提供してくださったサイボウズラボ様，@shuyoさん，参加者のみなさま，ありがとうございました． 発表した論文はこちら． Query Weighting for Ranking Model Adapation. by Peng Cai, Wei Gao, Aoying Zhou and Kam-Fai Wong PDF 本日の発表資料にちょっと修正を加えたものを公開します． ACL2011読み会: Query Weighting for Ranking Model Adaptation View more presentations from sleepy_yoshi 自分の発表について解説を少々． 本研究は，事例転移と呼ばれる転移学習のいちアプローチをランキング学習用にうまく適用する話．ランキング学習では，サンプルの最小単位である文書
Regularized Latent Semantic Indexing - tsubosakaの日記
最近勉強会で発表する予定のものと仕事関係の論文しか読んでなかったのでこのブログにはあんまり書けなかったんだけど、久々に書いてみる。 紹介する論文はSIGIR 2011のLSIを語彙数が大きい時にも効率的に並列化できるようにしたという論文[1]。 論文概要 PLSIやLDAみたいなトピックモデルは情報検索においても性能向上で重要であるが、語彙数が多い時スケールしないという問題点がある(文章数に関しては効率的な実装が知られている。例えば[2])。このためよく行われるのが語彙数を1万とかに制限する方法ですが、情報検索への応用を考えるとこのアプローチは問題がある(文章分類やクラスタリングへの応用であればこれで問題ない)。 このため著者らはRLSIという方法を提案した。これにより160万文章、語彙数700万のデータセットに対して16台のマシンでトピック数500のとき1時間半で処理できた(おそらく1イ
機械学習超入門IV 〜SVM(サポートベクターマシン)だって30分で作れちゃう☆〜 - EchizenBlog-Zwei
ニーズがあるのかさっぱりわからない機械学習超入門だけどひっそり続けていきたい。 前回は識別関数の基礎であるパーセプトロンの簡単な説明とPerlによる実装を解説した。実はこの時点でかの有名なSVM(Support Vector Machine、サポートベクターマシン)もほぼ完成していたのだ！というわけで今回はSVMをPerlで作ってしまうお話。 参考: これからはじめる人のための機械学習の教科書まとめ - EchizenBlog-Zwei 機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBlog-Zwei 機械学習超入門II 〜Gmailの優先トレイでも使っているPA法を30分で習得しよう！〜 - EchizenBlog-Zwei 機械学習超入門III 〜機械学習の基礎、パーセプトロンを30分で作って学ぶ〜 - EchizenBlog-Zwei さて
DSIRNLP#1で「ランキング学習ことはじめ」を発表しました - シリコンの谷のゾンビ
第1回データ構造と情報検索と言語処理勉強会に参加して発表をしてきました．幹事の@overlast さん，ボランティアのみなさま，会場を提供してくださったmixiさんに感謝申し上げます． ランキング学習に関するハードな発表を依頼されたので，気合いを入れて2晩夜更かしして資料をまとめてみた．発表資料(公開用)をslideshareにアップしました． DSIRNLP#1 ランキング学習ことはじめ View more presentations from sleepy_yoshi ランキング学習は検索ランキングを教師あり機械学習の枠組みで最適化する方法で，どのように目的関数を設定するかという観点で3つのアプローチ (pointwise, pairwise, listwise) に分かれる．これらのアプローチは，目的関数の設定方法が違うだけで，眺めてみると (基本的な方法は) そんなに難しくないよ，
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自然言語処理におけるベイズ統計
Amazon.co.jp: わかりやすいパターン認識: 石井健一郎: 本
Machine Learning | Coursera