Top-k retrievalのアルゴリズムを書いてみた（tiny topk） - y_tagの日記
最近top-k retrievalの話を少し聞いたので、簡単にコードを書いてみた。いつものように恥もなくgithubで公開している。 cpp-ToyBox-TinyTopK(github) Top-k retrievalを簡単に説明すると、転置インデックスに対してdisjunctiveなクエリで問い合わせて（OR検索）スコアの上位k件を取得したいという話である。詳細は"[IR] 転置インデックスとtop-k query - tsubosakaの日記"がとてもわかり易いので、そちらを参照していただきたい。 Top-k retrievalではvector space modelでのdot product（もちろんcosineやBM25なども同様）を考えるので、同じ原理でコサイン距離でのk-nearest neighborや線形分類器のtop-kマルチラベル分類を行うことができたりと、（実用的に
クエリログと文書コーパスを利用したクエリログ推薦 - nokunoの日記
SIGIR2011論文読みその2．Yahoo Labsの論文．Synthesizing high utility suggestions for rare web search queries 背景昨日の論文はクエリログが手に入らない状況でのクエリ補完だったのに対し，クエリログは手に入るがカバレッジが少ない場合にクエリログ推薦を行なうという話．今回はクエリログ推薦なので検索結果の画面に表示する代替クエリを出力するのが目的で，リアルタイムではないので入力クエリは完全な単語が与えられている．またクエリログのカバレッジが少ないといっても，通常のウェブ検索でもロングテールのテール部分が多く（30%）を占めているので，珍しいクエリログに対応するクエリ推薦を行なうのが目的となる． 論文中ではクエリログ推薦を以下の3種類に分類している 検索要求を特定するクエリの推薦（単語の追加） 検索要求を一般化するク
クエリ推薦の多様性を考慮する - nokunoの日記
SIGIR2011論文紹介その3，著者はMSR所属で，クエリ推薦候補の多様性を考慮しようという論文．Post-Ranking Query Suggestion by Diversifying Search Results 背景従来のクエリ推薦では入力クエリに対して関連性の高いクエリを推薦することが多かったが，そうすると入力クエリの同義語や省略形など同じ意味のクエリが推薦されてしまい，推薦されたクエリをクリックしても検索結果が前と変わらないという不具合を引き起こすこととなる．完全に同義語でなくてもほとんど同じだが微妙に違う検索結果になることもあり，それを防ぐためにクエリ推薦の多様性を考慮する必要がありますねという話．検索結果自体の多様性を考慮する研究は世に色々あるが，クエリ推薦の多様性を研究しているのは始めてのようだ．この論文ではクエリの多様性を測るために検索結果を使っていて，これにより推薦
はじめてサーベイした - 糞糞糞ネット弁慶
というわけでやってみた．Microsoft Academic Searchは本当に素晴らしい．あとは検索語句がタイトルだけなのかabstなのかも絞り込めると嬉しい．web系のカンファレンス過去5年分遡った． WWW Sreenivas Gollapudi, Consideration set generation in commerce search(WWW 2011) URL => Consideration set generation in commerce search 内容 => コマースサイトの検索結果でクエリに含まれる属性には近く，含まれない属性には多様性重視で出力する． 手法 => クエリを構造化したのち，LP緩和をgreedyにやる．[論文] Consideration set generation in commerce search(WWW 2011) 読んだ - 糞
Regularized Latent Semantic Indexing - tsubosakaの日記
最近勉強会で発表する予定のものと仕事関係の論文しか読んでなかったのでこのブログにはあんまり書けなかったんだけど、久々に書いてみる。 紹介する論文はSIGIR 2011のLSIを語彙数が大きい時にも効率的に並列化できるようにしたという論文[1]。 論文概要 PLSIやLDAみたいなトピックモデルは情報検索においても性能向上で重要であるが、語彙数が多い時スケールしないという問題点がある(文章数に関しては効率的な実装が知られている。例えば[2])。このためよく行われるのが語彙数を1万とかに制限する方法ですが、情報検索への応用を考えるとこのアプローチは問題がある(文章分類やクラスタリングへの応用であればこれで問題ない)。 このため著者らはRLSIという方法を提案した。これにより160万文章、語彙数700万のデータセットに対して16台のマシンでトピック数500のとき1時間半で処理できた(おそらく1イ
ACL HLT 2011 初日: 人間のクイズ王に勝った IBM Watson を支える技術 - 武蔵野日記
今日は自然言語処理に関する世界最大の会議、ACL の本会議初日。ホテル開催なので朝簡単につまめるものは会場にあるのでは、と思って行ったら案の定ベーグルとかコーヒーとかフルーツがあったので、ベーグルを食べる。けっこういける。 オープニングでは今回の会議の統計を話していたが、1,146本の投稿(うち646本がフルペーパー、残りの512本がショートペーパー)、292本(うち164本がフルペーパー、128本がショートペーパー)が採択とのこと。フルペーパー(2段組8ページ+参考文献)とショートペーパー(2段組4ページ+参考文献)ともに採択率は25%。自然言語処理では採択率が40%くらいの国際会議が多いので、25%はやはり難関会議である。 招待講演はアメリカのクイズ番組で人間に勝ったことで有名になったIBM Watson を支える技術について。ネタがあまりよく分からずいまいち楽しめなかったが (細かい
TokyoNLPで発表したConfidence WeightedによるLearning to Rankの資料を公開しました - 射撃しつつ前転 改
めんどうなのでずっと避けてたんですが、3ヶ月ぐらい前に勉強会で発表した資料を公開しました。埋めこむとページが重くなるので、リンクを貼るだけにしておきます。 → http://www.slideshare.net/tkng/confidence-weighted Learning to RankでPairwiseの学習にConfidence Weightedを使ったらいいんじゃね？みたいな感じで実験してみたら恐ろしいぐらいにダメな結果が出て、やっぱり試してみないとわからないものね、というような顛末を書いてあります。 日本語でのLearning to Rankの初心者向け資料は見たことがないので、興味がある人はとりあえず読んでみたらどうでしょうか、と書こうと思いましたが、読み返してみると説明が不十分であまり初心者に優しい感じにはなれてなかった。以下の英語の資料を読んだほうが良いかもしれません。
RONDHUIT-REPORT-Vol8
RONDHUIT REPORT Vol.8 – LUCENE SCORING TIPS & TRICKS Copyright © RONDHUIT Co.,Ltd. 1 2011 3 24 Lucene Solr Lucene Similarity Similarity Javadoc Lucene 2.9 Similarity Javadoc http://lucene.apache.org/java/2_9_4/api/all/ org/apache/lucene/search/Similarity.html https://issues.apache.org/jira/browse/LUCEN E-1908 Lucene Excel Excel V V(q) V(d) (cos ) 2 2 2 V(q) V(d) |V(q)||V(d)| Excel RONDHUIT REPORT
Evaluating E-Discovery
Well, after a couple of years at FTI, and some, ahem, self-funded gardening leave, I'm back to consulting---and to blogging! More from me soon. Tomorrow I'm starting a new, full-time position as data scientist at FTI's lab here in Melbourne. I'm excited to have the opportunity to contribute to the e-discovery community from another angle, as a builder-of-product. Unfortunately, this means the end
Sources of evidence for vertical selection (SIGIR 2009)読んだメモ - 糞糞糞ネット弁慶
Sources of evidence for vertical selection SIGIR2009のbest paper． この論文は何をしているのか vertical selectionと言うと全くピンと来ない．上手いこと示す言葉を知らないので具体例を挙げる．例えばgoogleで「桜高軽音部」と検索すると3件目に「桜高軽音部」で動画を検索した結果へのリンクが張られる．また，「JAL」で検索した場合には5件目に「JAL」でニュースを検索した結果へのリンクが張られる． このような「動画」「ニュース」「画像」などの区分をverticalと呼び，検索クエリに対してそれらへの検索を同時に行うべきか行わないべきか，どのverticalに対して行うべきか，を示したのがこの論文． 問題設定 検索エンジンに対するクエリに対し，いずれかのverticalに割り振るか，もしくはどのverticalにも割
The IDF(inverse document frequency) page
Professor Emeritus Professor Stephen Robertson Department of Library and Information Science My current email address is not too hard to find, but I may also be contacted through LinkedIn. I'm now retired from paid work, but I am still a visiting Professor at University College London, Department of Computer Science. I spent 15 years, from 1998 to 2013, as a researcher at the Microsoft Research La
今週のDBCLS + From "Dango" to "Japanese Cakes": Query Reformulation Models and Patterns - 糞ネット弁慶
プログラム書くの進めたりテスト書いたり Red→Green→Redと言う感じでテンポ良く進まない… あと論文大量に探してダウンロードして読んだり そもそもACM Digital Libraryの論文がうちの大学からだとダウンロードできないというのが問題なんじゃないか と思って今試したらダウンロードできた。何故これまでずっと勘違いしてたんだ no title どこかのBest Paper Awardを取った検索クエリに関する論文。凄く読みやすい感じだった。 2つの連続した検索クエリ(q, q')は Error Correction("califrnia", "california") Parallel move("hotel in Dublin", "flights to Dublin") Generalization("camping", "outdoor activities") Spe
Information Retrieval: Implementing and Evaluating Search Engines
Information retrieval is the foundation for modern search engines. This textbook offers an introduction to the core topics underlying modern search technologies, including algorithms, data structures, indexing, retrieval, and evaluation. The emphasis is on implementation and experimentation; each chapter includes exercises and suggestions for student projects. Wumpus, a multi-user open-source info
特許から判断する検索エンジンのアルゴリズム要素×26
検索エンジン会社が申請・取得した特許・論文を細かく分析して情報を公開することで有名なSEO By The Seaというブログがあります。 サイトオーナーはBill Slawski（ビル・スラウスキ/スロースキ）氏という人物で、Patent Guru（特許の達人）とも呼ばれています。 彼が最近受けたインタビューのなかで、特許の研究から読み解いた検索エンジンがランキングを決める際に考慮していると思われるアルゴリズムの要素をリストアップしていたので紹介します。 まずアルゴリズム要素を3つのタイプに分類しています。 リンクに基づく要素 コンテンツに基づく要素 ユーザーの行動に基づく要素 それぞれに具体的にどんな要素があるのか訳します。 1. リンクに基づく要素 リンクの数と重要性以外に次のような要素が考えられる。 リンクの年齢 リンクの増減の頻度 リンク切れやリダイレクトリンクの数 リンクのアンカ
Jeff's Search Engine Caff�: Rejected SIGIR 2010 Paper? Consider Not Relevant
Information Retrieval research and search engine development discussion. Yesterday the SIGIR paper notifications went out. I didn't submit a paper, but I know many other people who did. The results were mixed. I believe some quality papers were rejected. Did your paper get rejected unfairly? Poor reviewing? You should check out: Not Relevant, a new online journal for unfairly rejected SIGIR papers
Learning to rank - Wikipedia
Learning to rank[1] or machine-learned ranking (MLR) is the application of machine learning, typically supervised, semi-supervised or reinforcement learning, in the construction of ranking models for information retrieval systems.[2] Training data may, for example, consist of lists of items with some partial order specified between items in each list. This order is typically induced by giving a nu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.cl.cam.ac.uk/archive/ksj21/ksjdigipapers/indconfcomp07.pdf
http://probablyirrelevant.org/2011/02/explicit-negative-feedback-comes-to-the-web-somewhat/
http://www.thuir.org/1click/ntcir9/
Машинное обучение ранжированию, 15 мая 2009 — Обучение в Яндексе