ヒット件数が数十万件を超えるような場合でも使える。新しくインデキシングしたドキュメントを検索結果の上位に表示する２つの方法。 - Solr, Python, MacBook Air in Shinagawa Seaside
新しくインデキシングされたドキュメントを検索結果の上位に表示したいというニーズは割とよくあると思います。 フレッシュネスブーストと呼ばれる手法です。 Solr の場合 TIMESTAMP などの日付でソートすることもできるのですが Solr はソートがあまり上手ではありません。 時間とシステムリソースを大量に消費します。 ヒット件数が数十万件を超えるような場合にはあまり使いたくありません。 正確にソートされなくても最近インデキシングされたドキュメントが だいたい上位にくればいいのであれば日付でブーストする方法があります。 1つめは クエリタイプが dismax の場合で、BoostQuery を使う方法です。 bq で指定します。 bq=TIMESTAMP:[NOW/DAY-7DAY TO NOW/DAY]^20000 この例では1週間以内にインデキシングされたドキュメントがブーストされま
Java製形態素解析ライブラリ「lucene-gosen」を試してみる
概要 Javaの有名な形態素解析器でありながら、長らく「公式サイトどこ？」な状況だったSenとGoSenですが、最近はlucene-gosenなるGoSenベースのライブラリがちゃんと管理された状態で公開されてるとか。 lucene-gosen http://code.google.com/p/lucene-gosen/ しかもこの子は辞書内包なのでjarを落とすだけで使えて、Lucene用AnalyzerやSolr用Toknizerも付いていて、日本語の検索用インデックスを貼る時に便利な各種フィルタも用意されているという、至れり尽くせりな構成になっているとか。 これは触ってみねばということで、とりあえず簡単な形態素解析、辞書の追加、Luceneでの利用、Solrでの利用を試してみました。 ちなみに上のURLでCommiterのところに名前が出ているKoji SekiguchiさんはSol
TwitterにおけるHadoopとLuceneを利用した大規模データ解析について - nokunoの日記
Twitterについては先日の記事でフロントエンドのBlenderを紹介しましたが、バックエンドやデータ解析のシステムにも興味があります。ちょうどData-Intensive Text Processing with MapReduceで有名な@lintool先生の新しい論文が公開されていたので読んでみました。Full-Text Indexing for Optimizing Selection Operations in Large-Scale Data Analytics(pdf)ACMのMapReduce'11というワークショップで発表された内容のようです。この論文を読んで初めて知ったのですが、Lin先生はサバティカル休暇（大学教授が長期の休みを取れる制度）でTwitterに来ており、データ解析チームで働いているそうです。この論文もTwitterエンジニアの@squarecogさんと
(第2回)(第3回)Zope/Plone開発勉強会 - forest book
(第2回)Zope/Plone開発勉強会と(第3回)Zope/Plone開発勉強会に参加してきました。 第2回(先月)のときは、PyLucene のビルドができない、原因が分からないとはまってしまい、ブログを書けるほどの成果がなかったので2ヶ月まとめて書きます(^ ^;; タイムテーブルは以下のような感じです。 11:00-11:30 自己紹介とか 11:30-12:00 やること決めたり準備とか 12:00-13:00 昼食 13:00-18:00 もくもくと開発 18:00-19:00 成果発表(できたとこまで) 19:00-19:30 後片付け 19:30- 打ち上げ(いける人で) 前回は、Zope と Plone を CentOS 5.3 へインストールしました。今回は PyLucene と Plone を連携させることを目的に、先ずは PyLucene のインストールにチャレンジ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人名がヒットしたときはスコアを上げる | 関口宏司のLuceneブログ
lucene-gosen + Solr 3.1 | 関口宏司のLuceneブログ
LuceneとSennaの比較：スコア計算 | 関口宏司のLuceneブログ
Features
