情報検索ことはじめ〜教科書編〜 - シリコンの谷のゾンビ
2011-01-18追記 教科書編その2 にて2011年版のIR教科書を紹介しています 情報検索(IR)の勉強を本格的に始めて8ヶ月．大体どんな分野があって，どんなことを勉強すればいいのかわかってきた（と思う）．この気持ちを忘れないうちにメモしておこう．以下，若輩があーだこーだ言ってるだけなので，間違いや他に情報があれば，ぜひコメントをお願いします． # ここで述べている情報検索とは，コンピュータサイエンスの一分野としての情報検索です．図書館情報学の側面は一切扱っていません，あしからず． というわけでまず教科書編． 本腰を入れて勉強する場合，基礎づくりのためには教科書選びがいちばん重要だと思っている．自分の知っている限り，情報検索における教科書の選択肢はそれほど広くはない．以下に紹介する本は，情報検索を学ぶ上で「買い」の本．これらを読めば，最新の論文を読めるだけの土台はできるし，専門家と議
アップル、独自に検索エンジンを開発中とのうわさ
TechCrunchは米国時間11月13日、Google、Yahoo、Microsoftに対抗する独自の検索エンジンを、Appleが現在開発中であるといった内容のうわさが流れていることを伝えた。同報道においてTechCrunchでは、Appleが検索エンジンを開発する理由について、「Safari」ブラウザを始めとする、ウェブ全体から流れ込むトラフィックから、現在の路線とは異なる売り上げを確保したいという願望を挙げている。 しかしながら、いくらか調査を進めた結果として、TechCrunchは、Appleが秘密裏に検索エンジンの開発に取り組んでいる可能性は、かなり低いと判明したとも伝えており、シリコンバレーでは、Appleが、業界内の別のセクターに注力する可能性について、ほとんどうわさにもなっていないことを報じている。 筆者は、うわさの真偽を問いただす議論など必要ないと感じているし、そもそもA
Notes 0001-0093
個人的にメモしているもの。参考情報のリストなど。 0094 以降は Notes にあり。 Table of contents 0093: 2017年の国際会議 - 2017年に開催される言語処理や情報検索の国際会議 0092: アメリカ口語教本 (中級用) - 会話表現習得用のメモ 0091: 自然言語処理の基本と技術 - 翔泳社から出版される予定だった本について 0090: 読み終えた本 2015 - 2015年に読了した本 0089: 2016年の国際会議 - 2016年に開催される言語処理や情報検索の国際会議 0088: 2015年の国際会議 - 2015年に開催される言語処理や情報検索の国際会議 0087: 読み終えた本 2014 - 2014年に読了した本 0086: 読み終えた本 2013 - 2013年に読了した本 0085: 言語処理学会第19回年次大会 (NLP2013)
The IDF(inverse document frequency) page
Professor Emeritus Professor Stephen Robertson Department of Library and Information Science My current email address is not too hard to find, but I may also be contacted through LinkedIn. I'm now retired from paid work, but I am still a visiting Professor at University College London, Department of Computer Science. I spent 15 years, from 1998 to 2013, as a researcher at the Microsoft Research La
検索メイニアック！: tf-idf (ティーエフ・アイディーエフ)とKaren
情報検索入門シリーズ。 "Maniac"という英単語は、あえてカタカナで書くならマニアックではなくメイニアックである。 そういうわけでこのブログのタイトルは「検索メイニアック」である。 さて、マニアックとメイニアックはどちらが一般的に使われる語だろうか？ 「マニアック」のウェブ検索結果 「メイニアック」のウェブ検索結果 ということでマニアックの「ヒット数」のほうが圧倒的に多い。 この「ヒット数」のことを文書頻度(document frequency)という。略してdf。 「メイニアック」のようにdfの低い語のほうが、一般にはクエリターム(検索キーワード)として有用である。 つまり欲しい文書(個々の検索対象。例えば単一のウェブページ)を特定するのにより役立つ。 例えば、「検索」と「メイニアック」という2つのクエリタームで検索を行いたい場合、 「検索」のウェブ検索結果 を見
Introduction to Information Retrieval 輪講第7回 : no hacking, no life
たつをさんが主催するIIR輪講の第7回に参加してきました。 (今回が初参加。誘って頂きありがとうございます！) 最初に、恒例（らしい）のnaoyaさんからの前回の復習がありました。 「転置インデックスの圧縮は、Termを保存する辞書と、Termの出現位置を保存するPostingの両方が圧縮対象で、それぞれ・・・(省略)などの方法があります」という話で、すごいわかりやすい説明だったので、これだけでもとてもためになりました。拙作のLuxではインデックスの圧縮はまだ実装していないので、5章を見ていろいろやってみようと思います。postingsに関しては、variable byte encodedが圧縮率や実装のしやすさの面でよさそうな感じがしました。 その後、本題の6章の「Scoring, term weighting and the vector space model」について担当の能登
Geocoding - 住所から緯度経度を検索
Geocoding.jpとは？ 住所やランドマーク名をGPS座標に変換するサービスです。 座標系はWGS84に対応。近似TOKYO97出力も可能です。 Open Location Code(OLC)取得も可能です。 Aobaが個人で作成、運用しています。 Google様とYahoo!様のふんどしで相撲をとっております。 お問い合わせはTwitter窓口まで。 検索のサンプルは？ 住所 『東京都港区芝公園４－２－８』 で検索 ランドマーク名 『東京タワー』 で検索 ランドマーク名 『東京駅』 で検索 ランドマーク名 『Arc de triomphe』（凱旋門） で検索 ランドマーク名 『ユニコーンガンダム』 で検索 Open Location Code 『8Q7XMP52+J6』（渋谷ハチ公像） で検索 緯度、経度から検索 『東京タワー』 経度、緯度から検索（度、分、秒） 『Eiffel T
Introduction to Information Retrieval #4 の復習資料 - naoyaのはてなダイアリー
Introduction to Information Retrieval の4章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_04.ppt 4章はインデックス構築に関するアルゴリズムなどがテーマです。 前半では単一マシン上で二次記憶装置を使ったインデックス構築手法として、入力を適当なサイズのブロックに分けて最後にマージする Blocked sort-based indexing (BSBI) と、BSBI を改良して入力をストリームで扱うようにした Single-pass in-memory indexing (SPIMI) が紹介されています。 次に、例えばウェブ検索のような、単一のマシンでは扱いきれない巨大なインデックスを扱う戦略として、並列計算クラスタで分散インデックスを構築する Google の Ma
連載：検索エンジンを作る｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
[を] 転置インデックスによる検索システムを作ってみよう！
転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-IDF[2005-10-12-1] を用いました。 検索対象ファイルは一行一記事で以下のフォーマットとします。 [記事ID][SPC][記事内容]\n 記事IDは数字、記事内容は UTF-8 の文字で構成されるものとします。 以下のようなサンプル test.txt を用意しました。 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ
![[を] 転置インデックスによる検索システムを作ってみよう！](https://cdn-ak-scissors.b.st-hatena.com/image/square/af37977ee866988286b95e74fff98500a190545c/height=288;version=1;width=512/https%3A%2F%2Fchalow.net%2Fimages%2Ftcl-logo-25.png){kind=logo}
Google Japan Blog: 大規模日本語 n-gram データの公開
突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう? グーグルで_____ おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？ 実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。 一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」 と 「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデル
検索メイニアック！: きっかけは叶姉妹
1並びの吉日。検索メイニアックの記念すべき100件目のエントリと同時に、 ついにあのワンページ検索βがリリースされた。長かった。 http://labs.fresheye.com/OnePage/ と言っても半年くらいでできたよな。 やっぱりベンチャー企業は身軽だ。 (それだけに吹けば飛んでしまうが) ワンページ検索で個人的に思い入れがあるのがつながルート。 ウィキペディア中の参照関係を視覚化したもの。 ユーザにクエリ入力なしでばんばん道草検索をやってもらうために考案した。 (考案しただけで、あとは扇子を振って同僚を応援していただけなのだが) きっかけは、叶姉妹の報道。 実の妹に宝石を盗まれたとかなんだとかいう話があったが、 これを聞いて今年3月に書いた絵がこれ。つながルートの起源である。 関係者の皆様、大変お疲れ様でした。引き続きよろしくお願いいたします。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生きあたりまったりブログ
http://www.jstage.jst.go.jp/article/jssst/24/3/3_20/_pdf/-char/ja/
人工知能学会 (The Japanese Society for Artificial Intelligence) | 人工知能学会のホームページです。入会手続き、会議やセミナーの開催予定、学会誌情報などを掲載しています。
http://www.wiss.org/WISS2007Proceedings/papers/paper0012.pdf
iconlook.com
WWW2008
TechCrunch Japanese アーカイブ » 「Y」という属性を持つ「X」」を探すセマンティック検索エンジンCircos
画像や地図を用いて回答できる質問応答システム | CiNii Research