SEXI2013読み会あらためSEXI2013/WSDM2013読み会に参加して発表してきました．会場を提供してくださったyesekkyさんおよび株式会Gunosy様，幹事の@y_benjoさんに改めて感謝申し上げます． SEXI2013 (Workshop on Search and Exploration of X-Rated Information at WSDM2013) はアダルト情報検索に関するワークショップでウェブ系のメジャーカンファレンスWSDM2013のワークショップ．以下の公式ページに予稿集が全て公開されている． http://sexi2013.org/ 世界広しといえどSEXI2013の論文読み会を開催したのは我々だけではないだろうか．これが誇れることなのかわからないけれど． さて本ワークショップの存在を知ったのは今年の2月頃だろうか．思わず以下のつぶやきをしたことを

本日開催されたPRML復々習レーン#10に参加してきました．延期による日程再調整と会場確保していただいた @Prunus1350 さん，参加者のみなさんありがとうございました． 前回までのあらすじを紹介．実は前回も朝方まで資料をつくっていたのでこのまま爆弾低気圧の影響で延期になればラッキーというネタを入れていたのだけれど本当に延期になってしまったというネタを披露． PRML復々習レーン#10 前回までのあらすじ from sleepy_yoshi 7章の多クラスSVMと回帰のためのSVMも発表． PRML復々習レーン#10 7.1.3-7.1.5 from sleepy_yoshi 多クラスSVMではクラス数分だけ分類器を用意して最大の出力を返すクラスを選択する方法 (MaxWin) がよく使われるが，これには理論的根拠がなく，いろんな方法が提案されているよ，けれど結局MaxWinが精度よ

こんばんは @sleepy_yoshi です．Machine Learning Advent Calendar 2012 の11日目を担当します．サモア時間ではまだ12月11日なので間に合いましたね．今日はバイナリ素性ベクトルの内積計算にSSE4.2のpopcnt命令を用いて高速化することでk-NN分類器を高速化する話について書きます． このブログでは普段である調で書いていますが，今日はなんとなくですます調で書きます． k-NN (k Nearest Neighbor) 分類器はラベルを予測したい事例に対して，訓練データとして与えられたラベル付き事例集合の中からk近傍の事例のラベルを用いて予測する，という分類器です．k近傍を求めるために，訓練データに含まれる事例全てに対する類似度を計算する必要があります．類似度には様々な尺度が利用されますが，ここでは内積とします．そのためk個の近傍を発見す

GW中にやることリストのひとつである確率的情報検索ノートができたので公開． Notes on Probabilistic Information Retrieval ―Probability Ranking PrincipleからBM25まで― 確率的情報検索とは，Prbability Ranking Principle (説明はノート参照) をスタート地点にして適合確率をモデル化した情報検索のいち分野．Binary independence modelやBM25などが含まれる (BM25はいろんなヒューリスティクスが入っているのだけれど)． BM25とは， [tex:\sum_{t \in q} q_t \cdot \frac{f_{t,d} (k_1 + 1)}{k_1*1 + f_{t,d}} \cdot w_t] という (説明はノート参照)，ぱっと見ワケワカラン計算式だけれど当た

SVMの定番ツールのひとつであるlibsvmにはcross validationオプション(-v) があり，ユーザが指定したFoldのcross validationを実行してくれる． 実行例 % ./svm-train -v 2 heart_scale * optimization finished, #iter = 96 nu = 0.431885 obj = -45.653900, rho = 0.152916 nSV = 70, nBSV = 49 Total nSV = 70 * optimization finished, #iter = 84 nu = 0.512665 obj = -57.742885, rho = 0.134158 nSV = 78, nBSV = 61 Total nSV = 78 Cross Validation Accuracy = 81.8519%

TokyoNLP#7に参加して，「きれいなジャイアンのカカカカ☆カーネル法入門-C++」を発表してきました． 幹事の @nokuno さんをはじめ，他の発表者の方々や懇親会の買い出しをしてくださったみなさま，参加者のみなさま，そしてなにより会場を提供してくださったECナビさんと@ajiyoshiさんに改めて感謝申し上げます． 大分時間が空いてしまったけれど一応前回からの続き． TokyoNLP#5で「パーセプトロンで楽しい仲間がぽぽぽぽ〜ん」を発表しました 発表資料を公開します．一部修正してあります． TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++ View more presentations from sleepy_yoshi 発表のポイントは以下のあたり． 入力とデータ点 (サポートベクタ) との類似度 (カーネル) の重みづけ和でモデルを表現している!

第1回データ構造と情報検索と言語処理勉強会に参加して発表をしてきました．幹事の@overlast さん，ボランティアのみなさま，会場を提供してくださったmixiさんに感謝申し上げます． ランキング学習に関するハードな発表を依頼されたので，気合いを入れて2晩夜更かしして資料をまとめてみた．発表資料(公開用)をslideshareにアップしました． DSIRNLP#1 ランキング学習ことはじめ View more presentations from sleepy_yoshi ランキング学習は検索ランキングを教師あり機械学習の枠組みで最適化する方法で，どのように目的関数を設定するかという観点で3つのアプローチ (pointwise, pairwise, listwise) に分かれる．これらのアプローチは，目的関数の設定方法が違うだけで，眺めてみると (基本的な方法は) そんなに難しくないよ，