[B! algorithm][fulltextsearch] ishideoのブックマーク

ishideo id:ishideo

algorithmとfulltextsearchに関するishideoのブックマーク (2)

転置インデックスによる検索システムを作ってみた - pythonco(ぱいそんこ)の日記
転置インデックスによる検索システムを作ってみよう！にインスパイアされて作ってみました。検索記事は [記事ID][SPC][記事内容]\n以上のフォーマットで、文字コードはUTF-8とします。検索対象ファイルとして 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ気味 6 ペンキ塗りたてで気味が悪いです 7 ペンペンペンペンという内容のtest.txt用意しました。インデックス n-gramをkeyとして、各記事のtf(記事中のn-gram出現頻度)と記事IDのタプルをtf降順にsortしたリストを登録した辞書 index[n-gram] => [(tf, 記事ID), ...] #タプルはtf降順にsortしておくをcPickleでシリアライズしたものをインデックスファイルとして使うことにします。 cPickl
ishideo 2007/12/04
python

algorithm

search

fulltextsearch
リンク
[を] 転置インデックスによる検索システムを作ってみよう！
転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装はパフォーマンスを無視すれば意外と簡単です。それを示すために Perl で簡単な検索システムを作ってみました。検索方式は転置インデックス(Inverted Index)、ランキングには TF-IDF[2005-10-12-1] を用いました。検索対象ファイルは一行一記事で以下のフォーマットとします。 [記事ID][SPC][記事内容]\n 記事IDは数字、記事内容は UTF-8 の文字で構成されるものとします。以下のようなサンプル test.txt を用意しました。 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ
ishideo 2007/11/27
algorithm

perl

search

fulltextsearch
リンク
1