はてなブックマーク

もう二か月以上前のことだが、とあるところで、Jubatusでオンライン分類ができるならペアワイズのランク学習もできそうだという話をした。いろいろあって時間がかかってしまったが、実装と簡単な評価をしたのでまとめておく。 以下の評価で用いた実装は"y-tag/jubatus"のrankingブランチにある。現時点では、このブランチは0.4.3のリリース直後をベースとしている。 今回の実装の参考文献として、2009年のNIPSで発表された以下の論文が挙げられる。 Large Scale Learning to Rank また、以下の資料も非常に参考になる。 Large Scale Learning to Rankを読んだ - 射撃しつつ前転 Confidence Weightedで ランク学習を実装してみた DSIRNLP#1 ランキング学習ことはじめ データセットとして、LETORのOHSUM

昨年のICML2012で、オンライン分類器であるSoft Confidence-Weighted Learningが提案された（"Exact Soft Confidence-Weighted Learning"）。この際に提案されたのは基本的な二値分類だったが、今までのオンライン分類器と同じように、マルチクラスへの拡張も可能である。詳しくは以下の記事を参照していただきたい。 Exact Soft Confidence-Weighted Learning (ICML2012) 読んだ - kisa12012の日記 オンライン線形分類器とSCW - Sideswipe そんなマルチクラスSCWをJubatusに実装してみた。コードは"y-tag/jubatus"のscwブランチにある。このブランチは0.4.2のリリース直後をベースとしている。 ただ単純な分類器の追加だけなら話は簡単なのだが、分

大した話ではないのだがメモ。 Jubatusのビルドが64bit環境（x86_64）では通るのだが、32bit環境（i686）では通らなかったので、いろいろと調べていた。二つの環境は以下のとおりで、ビルドにはg++が用いられていた（どちらもvagrantでUbuntu 12.04を用いている）。 $ uname -a Linux vagrant-ubuntu 3.2.0-32-generic #51-Ubuntu SMP Wed Sep 26 21:33:09 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux $ g++ -v Using built-in specs. COLLECT_GCC=g++ COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-linux-gnu/4.6/lto-wrapper Target: x86_64

WSDM2012勉強会に参加させていただきました。発表資料など詳細は以下にまとまっているようです。主催者、発表者、会場確保・設営をしてくださった皆さま、とても勉強になりました、ありがとうございました。 WSDM2012勉強会で発表しました #wsdm2012 - nokunoの日記 WSDM2012読書会を開催しました & Overcoming Browser Cookie Churn with Clustering読んだ - 糞ネット弁慶 実は今回このような形の勉強会に初めて参加したので、感じたことなどを少しメモしておく。 @nokunoさん Finding Your Friends and Following Them to Where You Are 会場では後半、ベストペーパーなのにこんな評価で大丈夫か、という話があった。位置情報をよく有効にしてtweetしているユーザに絞って学習

SIGIR 2011のDOM Based Content Extraction via Text Densityが、シンプルなアルゴリズムながら良さそうな結果を示していたので、著者のコードを改変してSWIGでPerlとPythonのbindingを作った。 下手な英文メールにも関わらず、コードの利用を快く認めて下さったFei Sunさん、ありがとうございます！ cpp-ContentExtractionViaTextDensity - GitHub これは何をするものかというと、タイトルどおり、DOMツリー上でText Densityという指標を用いてウェブページの本文抽出を行うもの。機械学習とかではなく、単純に決められた方法で計算されたText Densityを用いるだけのシンプルなアルゴリズムである。 Text DensityはDOMノードごとに計算され、シンプルにテキストの文字数をタ

ここのところ、周囲でランキング学習への興味が高まっているような気がする。 ランキング学習の一手法として、A Stochastic Learning-To-Rank Algorithm and its Application to Contextual Advertisingでは、ランキングの評価指標の一つであるNDCGを最大化するようなパラメータを推定するアプローチを取っている。この手法では、NDCGは微分することができないのでdownhill simplexを用いて最適化を行うのだが、その際に局所解に陥りにくくするためsimulated annealingの考えを取り入れている。 このannealingの部分の具体的なアルゴリズムが良くわからなかったので、単純なdownhill simplexではどれほどの結果が出るか試してみた。 データセットとしては先の論文と同じLETOR 3.0を、

TwitterでつぶやいたICML 2011の論文についてのメモ。まだあまり読めてないのだけれど、とりあえずここで一まとめ。ざっと目を通しただけなのでいろいろと間違ってるかもしれない。SVMの論文が多めなのは、SVMへの苦手意識を払拭しようとしてたから。 Large Scale Text Classification using Semi-supervised Multinomial Naive Bayes その名のとおり、大規模データのためのMultinomial Naive Bayesの新しい半教師あり学習の仕方を提案している。従来はEMアルゴリズムを用いる手法が一般的だったが、大規模だと扱いが難しい。 提案手法のアイディアはまずラベル付きデータでConditional Log-Likelihoodを最大化し、データが足りない時はMarginal Log-Likelihoodを最大化す

最近は教師あり学習の分類器について調べている。そこで2年ほど前に話題になったcomplement naive BayesをPerlで実装した。コードは「y-tag/perl-Algorithm-ComplementNB - GitHub」にある。 Algorithm::ComplementNBは通常のnaive Bayesにおいてシンプルに補集合の頻度を用いたcomplement naive Bayes、Algorithm::TWCNBはオリジナルの論文に記されていたtransformed weight-normalized complemnt naive Bayesであり、こちらはTFやIDFの情報を用いたり、ドキュメントの長さで正規化したり、さらに対数をとって正規化を行ったりしている。 以下「Algorithm::NaiveBayes」とComplementNBおよびTWCNBを比較し

Chromiumが容易にインストールできるようになってから、Ubuntu（10.04）ではFirefoxとChromiumの両方を使っている。あの青いアイコンにも愛着を感じてきたので、WindowsにもChromiumをインストールしてみた。そのときのメモ。 インストール作業自体はインストーラを実行するだけだったのだが、そのバイナリを見つけるのに少し時間がかかった。「The Chromium Projects」ではGoogle Chromeのダウンロードページへのリンクしか見つけられなかったのだ。 結局「Google Browser: Google Chrome And Chromium Download」を見て「Index of /f/chromium/snapshots」以下にバイナリがあることを知った。自前でビルドするときと同じように「BuildBot: Chromium」や「[ch