Yahoo! Build your Own Search Service - 武蔵野日記
Yahoo! Tech Blog で新検索プラットフォーム「ABYSS」の記事が出ていたので、Yahoo! Search BOSSの紹介。(日本語の記事は TechCrunch のYahoo、BOSSを発表―画期的な検索サービスのオープン化イニシアチブが参考になる) Yahoo! BOSS は、平たく言えば検索エンジンのインデックスに直接開発者がアクセスできるようになっている、という代物。普通検索エンジンを外から使う場合は、ウェブ API と呼ばれる制限された特殊な方法でアクセスするか、スクレイピングと呼ばれる普通にアクセスするけど必要な箇所だけ抜き出す方法が使われる(こちらはサーバやネットワークに負荷をかけるので嫌がられる)のだが、BOSS はウェブ API 経由でアクセスするにもかかわらず、かなりの自由度があるのが特徴。(たとえば1日あたりの検索回数は制限ないし、サジェスチョンの候補も
第7回 転置索引の構築 | gihyo.jp
はじめに これまで、転置索引の構造や具体的なデータ構造を見てきました。今回は、検索したいテキスト文書から、どのようにこの構造を構築するかを説明していきます。 ディスクベースの構築方法 第3回では、表を作成しそれを転置させることで転置索引を構築しました。実際にコンピュータに処理をさせる場合も、メモリ上の2次元配列で同様に構築することが可能となります。しかし、通常の転置索引は非常に疎な表となるため、この方法ではメモリを使いすぎてしまいます。また、リンクリストなどのメモリ上でのデータ構造を用いることにより、上記の方法と比較して少ないメモリ量で構築することもできます。 これらの方法はいずれも、対象とする文書集合を変換した転置索引が実メモリに収まる場合にのみ可能となる方法となります。しかし多くの場合、転置索引は実メモリよりも大きくなります。そのような場合はディスクを用いた構築方法が必要となり、効率的
Bayesian Setsによる関連文書検索システムStupa - mixi engineer blog
都会よりも田舎が好きなfujisawaです。Bayesian Setsというアルゴリズムを使って、関連する文書を高速・高精度に検索できるシステムを作成しましたので、そのご紹介をさせていただきます。 Bayesian Setsとは Bayesian Setsはいくつかアイテムを入力すると、それを補完するようなアイテムを返してくれるアルゴリズムです。原著論文の先頭に"Inspired by Google Sets"と書かれているように、Google Setsを参考にして作成されています。実際にどのような出力が得られるか、Google Setsに以下の表のクエリを検索して試してみますと、 クエリ 出力 apple, banana chocolate, strawberry, vanilla, cherry, ... apple, macintosh software, windows, mac,
[IR] Google WSDM'09講演で述べられている符号化方式を実装してみた - tsubosakaの日記
MG勉強会の後にid:sleepy_yoshiさんに教えてもらったWSDM 2009における講演"Challenges in Building Large-Scale Information Retrieval Systems"で述べられている符号化方式のGroup Varint Encodingを実装してみた。 資料 講演スライド スライドの日本語による解説記事 整数の符号化方式 転置インデックスなどで文章番号のリストを前の値との差分で表すなどの方法を用いると出現する、ほとんどの値は小さな値となるためこれを4バイト使って表現するのは記憶容量の無駄である。 このためVarint Encoding、ガンマ符号、デルタ符号、Rice Coding、Simple 9、pForDeltaなど様々な符号化方式が提案されている。このうちVarint Encodingは実装が手軽なことからよく用いられて
![[IR] Google WSDM'09講演で述べられている符号化方式を実装してみた - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/d5a026a6225c4524c834d0237efa271b5b0d54f0/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124030436%2F1557332443)
Large Scale Learning to Rankを読んだ - 射撃しつつ前転 改
本当は三が日中にまともなエントリを1本ぐらいは書く予定だったのだが、ちょっと無理だった。というわけで、実質的に新年一本目のエントリです。Large Scale Learning to Rank (D. Sculley, NIPS Workshop on Advances in Ranking, 2009) (pdf) を読んだので、1本目のエントリとしてこの論文を紹介したい。 では早速本題に入ろう。順位学習において、Pairwise Learningを単純に行うと、n^2の学習コストがかかる。これは計算時間としては厳しい部類に入る。そもそも順位学習ってなに、という人は、WWW2009のチュートリアル(pdf)とかを参照してください。 Bottouらは、SGDの一般化能力はデータセットのサイズに依らず、どれだけのstochastic stepを実行したかで決まると言う事を示した。そこで、Sc
NYから東京まで何マイル？Google検索で都市間の直線距離を表示 ｜ SEOモード
Google+にて、Google検索で「how far is it from A to B」で検索するとAとBの都市間の直線距離を表示できるようになったとの投稿がありました。 実際にやってみたところ、こんな風に表示されました。 こちらは「NYと東京の距離」。 これまでも下図のように移動距離は表示していましたが、（私が調べた限りでは）交通手段があって、アクセス可能な場合に限られていたようです。 いずれにしても、この直線距離の表示はまだ日本語環境では導入されておらず、英語環境でも「How far is it from London to New Delhi（ロンドンとニューデリーの距離）」では表示できなかったので、一先ずは限定的な提供のようですね。 ※こちらの記事は最初別のタイトルで公開されましたが、私の勘違いが含まれていたので、書き直して再投稿いたしました。 最初の記事を読まれた方にはご迷惑
Polynomial Semantic Indexing -- 大規模データからのスケーラブルな距離学習 - 武蔵野日記
午後はNIPS 2009 読み会。 Bing Bai, Jason Weston, David Grangier, Ronan Collobert, Kunihiko Sadamasa, Yanjun Qi and Corinna Cortes, Mehryar Mohri, "Polynomial Semantic Indexing" という論文について紹介してみた。 これはtsubosaka さんの日記にすばらしくまとまっているので、内容をあえて繰り返さず(クリアに書かれているので読む価値はあると思う)、感想を述べると、文書と文書の類似度を測る尺度としてこの polynomial semantic indexing はけっこう有用なのではないかな、と思った。@unnonounoさんと@tsubosakaさんも Twitter でつぶやいていたが、これは大規模なデータから低ランク近似して
Polynomial Semantic Indexing - tsubosakaの日記
NIPS 2009で発表された論文"Polynomial Semantic Indexing" [1]を読んだ。これは低ランク近似を用いた教師ありの情報検索に関する手法である。 情報検索について 与えられたクエリに関して適当な重みづけをおこなって順位づけして、適切な文章を返却するという問題は古くから研究されている。 オーソドックスな方法としては文章をbag-of-wordsで表して各単語の重みをtf-idfで正規化し、クエリに関しても同様な処理を行いコサイン類似度などの距離尺度を使って最も近い何件かを返すというものがある。この方法の欠点としてはクエリの単語を含まない文章はヒットしないという問題がある。これは各単語が独立であるという仮定を行っているためであり、明らかに誤っている仮定である。 もう一つの方法としては文章-単語行列が低次元の特徴量によって近似する方法である。代表的な方法としてLS
簡単なWebサーチエンジンの作り方 - Imagine with 加藤和彦
筑波大学は3学期制で，12月1日から3学期が始まりました．3学期には私が担当している学類生（普通の大学の学部生）3年生向けの実験があります．約3ヶ月を掛けて，ほどほどの規模のプログラム作成を行います．私が作り，担当しているプログラム実験は「Webサーチエンジン」といいまして，テキストはこちらに公開しています． この実験，結構，自信作なんです．Javaの基本的なプログラミングができることだけを仮定して，漏れのない全文検索を行うWebサーエンジンを作ります．Webデータ収集を自動的に行うクローラー付き．Googleのようなページランキング機能はありませんが，一応，サーチエンジンの基本機能を備えます．自慢は，このテキストが実質A4で印刷して2ページくらいであること．数学の小問を解いていくように，順番に小問を解いていくと，最後にはWebサーチエンジンができます． ミソはサフィックス・アレイ(suf
Topics in Information Retrival
Next: 15.1 Some Background on Topics in Information Retrival �$B9)F#�(B �$BBs�(B taku-ku@is.aist-nara.ac.jp �$B<+A38@8l=hM}3X9V:B�(B M1 August 3, 1999 15.1 Some Background on Information Retrieval 15.1.1 Common design features of IR systems 15.1.2 Evaluation measuers 15.1.3 The probability ranking principle(PRP) 15.2 The Vector Space Model 15.2.1 Vector similarity 15.2.2 Term weighting 15.3 Term D
Information Retrieval Tutorials
A Collection of Information Retrieval Tutorials for IR Students and Search Engine Marketers Here is a list of IR tutorials. Some include examples, fast tracks, reader's feedback and reviews or exercises. Fast Tracks Fast tracks are meant to be quick references. For detailed explanations please read the corresponding tutorials. LSI Keyword Research Singular Value Decomposition (SVD) A Linear Alge
増井 / 類語をみつける方法
というか[[[同じカテゴリの単語を複数見つける]]]方法 [[[同位語]]]検索というらしい [[http://IQAuth.com/ 画像なぞなぞ認証]]で偽答を作るのを自動化したい たとえば「大阪」が正解のとき「神戸」とか「京都」とかの偽答を自動生成したい 「的場」から「菊地」を生成するとか [[http://hondana.org/%E5%A2%97%E4%BA%95/4812439914 http://gyazo.com/6c0f4f744676c2a71fc1577ace0557c7.png]] [[[「や」を使う方法]]] "大阪や" でググると「大阪や埼玉」「大阪や鳥取」などが出る [[http://gyazo.com/cc94658d04bc123b1b807db482862488.png]] 京大田中研の研究 by 大島氏 [[http://ci.nii.ac.jp/na
PFI で2ヶ月のインターンシップに参加してきた - 肉とビールとパンケーキ by @sotarok
8月の頭から先週10月2日まで，Preferred Infrastructure (PFI) でインターンシップに参加してきました． 思えばあっという間でしたが，非常に濃い体験をし，多くのものを得た2ヶ月でした． インターンでなにをやったのか，何を得たのか，自分なりにまとめたいと思います．長文ですみません．結局うまくまとまらなかった．．． エントリー 日記風(w)に，エントリーから振り返りたいと思います．PFIでインターンの募集が始まった，と聞いたのは， @kzk_mover さんか @ichii386 さんの Twitter でのつぶやきからでした． で，まあPFIは太田さんを知ってたりして，素敵な会社だなーと思ってたこともあり，募集要項は「レベルが高い」とTwitterやブクマでも話題だったので受かるかどうか自信はなかったんですが，学生最後の年だし，今年やらなかったらもうインターンもで
Search Engines: Information Retrieval in Practice
Authors W. Bruce Croft, University of Massachusetts Donald Metzler, Google Trevor Strohman, Google Getting the book Amazon Barnes and Noble Resources Slides Test Collections Errata Galago Search Toolkit Lemur Stopword List About the book Written by a leader in the field of information retrieval, Search Engines: Information Retrieval in Practice is designed to give undergraduate students the unders
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Information Retrieval - The MIT Press
https://jp.techcrunch.com/2009/12/29/20091228google-caffeine-faster-search-index/
Jeff's Search Engine Caff�: Machine Learning Talk: Lee Spector on Genetic Programming; applications to Learning Ranking Functions
サービス終了のお知らせ
http://probablyirrelevant.org/2009/09/micro-ir/
検索エンジンが順位を決定する要因ランキング2009年版が完成！ | Moz - SEOとインバウンドマーケティングの実践情報
