Notes 0001-0093
個人的にメモしているもの。参考情報のリストなど。 0094 以降は Notes にあり。 Table of contents 0093: 2017年の国際会議 - 2017年に開催される言語処理や情報検索の国際会議 0092: アメリカ口語教本 (中級用) - 会話表現習得用のメモ 0091: 自然言語処理の基本と技術 - 翔泳社から出版される予定だった本について 0090: 読み終えた本 2015 - 2015年に読了した本 0089: 2016年の国際会議 - 2016年に開催される言語処理や情報検索の国際会議 0088: 2015年の国際会議 - 2015年に開催される言語処理や情報検索の国際会議 0087: 読み終えた本 2014 - 2014年に読了した本 0086: 読み終えた本 2013 - 2013年に読了した本 0085: 言語処理学会第19回年次大会 (NLP2013)
The IDF(inverse document frequency) page
Professor Emeritus Professor Stephen Robertson Department of Library and Information Science My current email address is not too hard to find, but I may also be contacted through LinkedIn. I'm now retired from paid work, but I am still a visiting Professor at University College London, Department of Computer Science. I spent 15 years, from 1998 to 2013, as a researcher at the Microsoft Research La
Introduction to Information Retrieval 輪講第7回 : no hacking, no life
たつをさんが主催するIIR輪講の第7回に参加してきました。 (今回が初参加。誘って頂きありがとうございます！) 最初に、恒例（らしい）のnaoyaさんからの前回の復習がありました。 「転置インデックスの圧縮は、Termを保存する辞書と、Termの出現位置を保存するPostingの両方が圧縮対象で、それぞれ・・・(省略)などの方法があります」という話で、すごいわかりやすい説明だったので、これだけでもとてもためになりました。拙作のLuxではインデックスの圧縮はまだ実装していないので、5章を見ていろいろやってみようと思います。postingsに関しては、variable byte encodedが圧縮率や実装のしやすさの面でよさそうな感じがしました。 その後、本題の6章の「Scoring, term weighting and the vector space model」について担当の能登
Introduction to Information Retrieval #4 の復習資料 - naoyaのはてなダイアリー
Introduction to Information Retrieval の4章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_04.ppt 4章はインデックス構築に関するアルゴリズムなどがテーマです。 前半では単一マシン上で二次記憶装置を使ったインデックス構築手法として、入力を適当なサイズのブロックに分けて最後にマージする Blocked sort-based indexing (BSBI) と、BSBI を改良して入力をストリームで扱うようにした Single-pass in-memory indexing (SPIMI) が紹介されています。 次に、例えばウェブ検索のような、単一のマシンでは扱いきれない巨大なインデックスを扱う戦略として、並列計算クラスタで分散インデックスを構築する Google の Ma
連載：検索エンジンを作る｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
全文検索エンジンを試作してみたよ - やればできる子の日記
今日は奥様とタイ料理&タイ式マッサージの日でした。マッサージはちょっと素晴らしいなあ。 表題のように、全文検索エンジンをGAE上で試作してみました。GAEはGoogle様提供のサービスにもかかわらず「なんで全文検索機能がないねん」という声が上がっていたんですよね。主にtwitter界隈から。 「Introduction to Information Retrieval」という本のドラフトPDFと、たつをさんのところのIIR輪講の資料を参考に作りました。つっても、第1章の一部の知識しか使ってないですが。論理和検索もスキップリストも使ってないし(論理和検索はクエリ式のパーサを書くのが面倒だった)。 import logging import re from urllib import urlencode import wsgiref.handlers from google.appengine
Okapi BM25 - Wikipedia
In information retrieval, Okapi BM25 (BM is an abbreviation of best matching) is a ranking function used by search engines to estimate the relevance of documents to a given search query. It is based on the probabilistic retrieval framework developed in the 1970s and 1980s by Stephen E. Robertson, Karen Spärck Jones, and others. The name of the actual ranking function is BM25. The fuller name, Okap
Introduction to Information Retrieval
This is the companion website for the following book. Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008. You can order this book at CUP, at your local bookstore or on the internet. The best search term to use is the ISBN: 0521865719. The book aims to provide a modern approach to information retrieval from a co
Manageability - Open Source Web Crawlers Written in Java
You are here: Home » blog » stuff » Open Source Web Crawlers Written in Java I was recently quite pleased to learn that the Internet Archive's new crawler is written in Java. Coincindentally, I had in addition to put together a list of open source projects for full-text search engines, I put together a list of crawlers written in Java to complement that list. Here's the list: Heritrix - Heritr
suffix array
更新履歴 2004/01/07 O(N) 構築アルゴリズム三種追加（Ko &Alulu, Kim & al., Karkkainen & Sanders) Suffix Arrayは、最近注目を集めているデータ構造です。その理由として、 (1)大規模なデータに対して、高速に検索、情報抽出を行うことができる (2)BWTとしてデータ圧縮に用いることができる。 ことが挙げられます。(1)に関しては自然言語処理において、膨大な量のコーパスから情報（例えば、単語の出現回数など）を調べるときににSuffix Arrayを用いると非常に高速に求めることができます。 膨大な量のコーパスに基づいた自然言語処理が盛んになってきている今、Suffix Arrayが注目を集めています。 また、ゲノム情報を調べるバイオインフォマティクスにおいても、ここの配列と似ている部分（例えばCCAG）を調べるといった場合
ソーシャルネットワーキング.jp: googleを超える検索2.0サイトたち
●googleを超える検索2.0サイトたち AI Favored Search 2.0 Solution Read/WriteWebの読者が選ぶ「検索2.0」のコンセプト。 人工知能の期待が高いですね。 人工知能：HakiaやPowerset 人力検索：del.icio.usやChaCha バーティカル検索：SimplyHiredやTechnorati パーソナル検索：Collarity クラスタリング：ClustyやSearchMash ソーシャル検索：EureksterやRollyo 可視化：Quintura やKartoo プレビュー：SnapやLive Image Search 日本ではとりあえずsnapは見かける機会が増えました。technoratiも便利です。EureksterのようなSNS＋検索サイトはもう少しあっても良い気もします。 googleを超えるサイトはここからでて
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Photo Tourism: Microsoft Research, Interactive Visual Media Group
http://blog.japan.cnet.com/inoue/archives/001201.html
[ppt] personalized search Base on User Search Histories
https://dlgateway.acm.org/delivery.cfm?urlpath=10.1145/1110000/1107492/p58-cutrell.pdf?key1=1107492&key2=4128618711&coll=Portal&dl=GUIDE&CFID=21537309&CFTOKEN=31619093
Cross-Language Information Retrieval Based on Category Matching Between Language Versions of a Web Directory Fuminori Kimura Graduate School of Information Science, Nara Institute of Science and Technology 8916-5 Takayama, Ikoma, Nara, Japan Akira Maeda