情報検索ことはじめ〜教科書編〜 - シリコンの谷のゾンビ
2011-01-18追記 教科書編その2 にて2011年版のIR教科書を紹介しています 情報検索(IR)の勉強を本格的に始めて8ヶ月．大体どんな分野があって，どんなことを勉強すればいいのかわかってきた（と思う）．この気持ちを忘れないうちにメモしておこう．以下，若輩があーだこーだ言ってるだけなので，間違いや他に情報があれば，ぜひコメントをお願いします． # ここで述べている情報検索とは，コンピュータサイエンスの一分野としての情報検索です．図書館情報学の側面は一切扱っていません，あしからず． というわけでまず教科書編． 本腰を入れて勉強する場合，基礎づくりのためには教科書選びがいちばん重要だと思っている．自分の知っている限り，情報検索における教科書の選択肢はそれほど広くはない．以下に紹介する本は，情報検索を学ぶ上で「買い」の本．これらを読めば，最新の論文を読めるだけの土台はできるし，専門家と議
アップル、独自に検索エンジンを開発中とのうわさ
TechCrunchは米国時間11月13日、Google、Yahoo、Microsoftに対抗する独自の検索エンジンを、Appleが現在開発中であるといった内容のうわさが流れていることを伝えた。同報道においてTechCrunchでは、Appleが検索エンジンを開発する理由について、「Safari」ブラウザを始めとする、ウェブ全体から流れ込むトラフィックから、現在の路線とは異なる売り上げを確保したいという願望を挙げている。 しかしながら、いくらか調査を進めた結果として、TechCrunchは、Appleが秘密裏に検索エンジンの開発に取り組んでいる可能性は、かなり低いと判明したとも伝えており、シリコンバレーでは、Appleが、業界内の別のセクターに注力する可能性について、ほとんどうわさにもなっていないことを報じている。 筆者は、うわさの真偽を問いただす議論など必要ないと感じているし、そもそもA
Notes 0001-0093
個人的にメモしているもの。参考情報のリストなど。 0094 以降は Notes にあり。 Table of contents 0093: 2017年の国際会議 - 2017年に開催される言語処理や情報検索の国際会議 0092: アメリカ口語教本 (中級用) - 会話表現習得用のメモ 0091: 自然言語処理の基本と技術 - 翔泳社から出版される予定だった本について 0090: 読み終えた本 2015 - 2015年に読了した本 0089: 2016年の国際会議 - 2016年に開催される言語処理や情報検索の国際会議 0088: 2015年の国際会議 - 2015年に開催される言語処理や情報検索の国際会議 0087: 読み終えた本 2014 - 2014年に読了した本 0086: 読み終えた本 2013 - 2013年に読了した本 0085: 言語処理学会第19回年次大会 (NLP2013)
The IDF(inverse document frequency) page
Professor Emeritus Professor Stephen Robertson Department of Library and Information Science My current email address is not too hard to find, but I may also be contacted through LinkedIn. I'm now retired from paid work, but I am still a visiting Professor at University College London, Department of Computer Science. I spent 15 years, from 1998 to 2013, as a researcher at the Microsoft Research La
検索メイニアック！: tf-idf (ティーエフ・アイディーエフ)とKaren
情報検索入門シリーズ。 "Maniac"という英単語は、あえてカタカナで書くならマニアックではなくメイニアックである。 そういうわけでこのブログのタイトルは「検索メイニアック」である。 さて、マニアックとメイニアックはどちらが一般的に使われる語だろうか？ 「マニアック」のウェブ検索結果 「メイニアック」のウェブ検索結果 ということでマニアックの「ヒット数」のほうが圧倒的に多い。 この「ヒット数」のことを文書頻度(document frequency)という。略してdf。 「メイニアック」のようにdfの低い語のほうが、一般にはクエリターム(検索キーワード)として有用である。 つまり欲しい文書(個々の検索対象。例えば単一のウェブページ)を特定するのにより役立つ。 例えば、「検索」と「メイニアック」という2つのクエリタームで検索を行いたい場合、 「検索」のウェブ検索結果 を見
Introduction to Information Retrieval 輪講第7回 : no hacking, no life
たつをさんが主催するIIR輪講の第7回に参加してきました。 (今回が初参加。誘って頂きありがとうございます！) 最初に、恒例（らしい）のnaoyaさんからの前回の復習がありました。 「転置インデックスの圧縮は、Termを保存する辞書と、Termの出現位置を保存するPostingの両方が圧縮対象で、それぞれ・・・(省略)などの方法があります」という話で、すごいわかりやすい説明だったので、これだけでもとてもためになりました。拙作のLuxではインデックスの圧縮はまだ実装していないので、5章を見ていろいろやってみようと思います。postingsに関しては、variable byte encodedが圧縮率や実装のしやすさの面でよさそうな感じがしました。 その後、本題の6章の「Scoring, term weighting and the vector space model」について担当の能登
グーグル先生を超える良回答連発、Powersetを使ってみた − ＠IT
2008/05/15 インターネットの検索でエポックメーキングな出来事は2度しか起こっていない。1994年にジェリー・ヤン氏らが立ち上げたヤフーがインターネットに検索をもたらしたときと、1998年にラリー・ペイジ氏らがグーグルを立ち上げ、Webページの重要度を示す「PageRank」という概念を導入したときだ。検索連動広告の発明もビジネス的には大きなステップだったが、使い勝手の向上というユーザー視点での転回点は2つだけだ。いま、ベンチャー企業の米Powersetが注目を集め、3つ目のイノベーションを起こすかどうかが注目されている。 ネット検索の歴史：数から順位への転換 Powersetが解決しようとしている問題を明確にするために、インターネットの検索エンジンの歴史を少しだけ振り返ってみよう。 グーグルが登場する以前、各検索サイトは、自分たちがいかに多くのWebページをクロールし、検索に対し
Geocoding - 住所から緯度経度を検索
Geocoding.jpとは？ 住所やランドマーク名をGPS座標に変換するサービスです。 座標系はWGS84に対応。近似TOKYO97出力も可能です。 Open Location Code(OLC)取得も可能です。 Aobaが個人で作成、運用しています。 Google様とYahoo!様のふんどしで相撲をとっております。 お問い合わせはTwitter窓口まで。 検索のサンプルは？ 住所 『東京都港区芝公園４－２－８』 で検索 ランドマーク名 『東京タワー』 で検索 ランドマーク名 『東京駅』 で検索 ランドマーク名 『Arc de triomphe』（凱旋門） で検索 ランドマーク名 『ユニコーンガンダム』 で検索 Open Location Code 『8Q7XMP52+J6』（渋谷ハチ公像） で検索 緯度、経度から検索 『東京タワー』 経度、緯度から検索（度、分、秒） 『Eiffel T
Introduction to Information Retrieval #4 の復習資料 - naoyaのはてなダイアリー
Introduction to Information Retrieval の4章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_04.ppt 4章はインデックス構築に関するアルゴリズムなどがテーマです。 前半では単一マシン上で二次記憶装置を使ったインデックス構築手法として、入力を適当なサイズのブロックに分けて最後にマージする Blocked sort-based indexing (BSBI) と、BSBI を改良して入力をストリームで扱うようにした Single-pass in-memory indexing (SPIMI) が紹介されています。 次に、例えばウェブ検索のような、単一のマシンでは扱いきれない巨大なインデックスを扱う戦略として、並列計算クラスタで分散インデックスを構築する Google の Ma
連載：検索エンジンを作る｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
全文検索エンジンを試作してみたよ - やればできる子の日記
今日は奥様とタイ料理&タイ式マッサージの日でした。マッサージはちょっと素晴らしいなあ。 表題のように、全文検索エンジンをGAE上で試作してみました。GAEはGoogle様提供のサービスにもかかわらず「なんで全文検索機能がないねん」という声が上がっていたんですよね。主にtwitter界隈から。 「Introduction to Information Retrieval」という本のドラフトPDFと、たつをさんのところのIIR輪講の資料を参考に作りました。つっても、第1章の一部の知識しか使ってないですが。論理和検索もスキップリストも使ってないし(論理和検索はクエリ式のパーサを書くのが面倒だった)。 import logging import re from urllib import urlencode import wsgiref.handlers from google.appengine
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生きあたりまったりブログ
http://www.jstage.jst.go.jp/article/jssst/24/3/3_20/_pdf/-char/ja/
人工知能学会 (The Japanese Society for Artificial Intelligence) – 人工知能学会のホームページです。入会手続き、会議やセミナーの開催予定、学会誌情報などを掲載しています。
http://www.wiss.org/WISS2007Proceedings/papers/paper0012.pdf
iconlook.com
http://www.ikuya.net/blog/2007/01/introduction_to_information_re.html
WWW2008
TechCrunch Japanese アーカイブ » Google、次世代画像検索を実験中―画像にページランク導入へ
Flickr Tag Recommendation based on Collective Knowledge (application/pdf オブジェクト)