第5回Solr勉強会に参加しました #SolrJp - nokunoの日記
というわけで、途中からですが第5回Solr勉強会に参加しました。会場は#TokyoNLPと同じECナビさん。Solrは最近勢いのあるオープンソースの全文検索エンジンで、mecabを使ったりして日本語の検索にも対応しているようです。第5回Solr勉強会 : ATNDWelcome to Solr Tokenizer いろいろ比較 by @haruyamaさん （途中から） Igoという形態素解析器がある Ngram系 vs 形態素解析：Ngram系のほうが速い バージョン3.1.0 vs 1.4.1: ほとんど差はなし モテるSolr系女子力の（ｒｙ 本日をもってECナビを退社→転職先募集中！ 図書館でのSolrの使い方 by @nabetaさん(田辺浩介) Project Next-LのはなしProject Next-L Official Page Next-L Enju: オープンソース
Luceneで分散インデクシング
最近Luceneを使ってみている。Luceneを使って実験用のブログ検索エンジン（ぽいもの）を作っているが、とにかくインデクシングが遅い。Nutchでは、Luceneのインデックスをいくつものマシンに作成して、インデクシング/検索共に分散してやることが推奨されているようだが、残念ながら常時占有できるマシンがたくさんあったりはしない。 Luceneの本によれば、マルチスレッドでメモリ上にインデックスを作成して、あとでまとめて1つのインデックスをファイルシステム上に作るというのが、Luceneのインデクシングを高速化する常套手段らしい。しかし、それで高速化できるのは最大でも（インデックスのマージにかかる時間が0としても）1つのマシン上のCPU数だけで、大幅な高速化はできない。 そこで、複数のマシンでメモリ上にできるだけ大きな（メモリぎりぎりの）インデックスを作成し、それをファイルに書き出してネ
RONDHUIT-REPORT-Vol8
RONDHUIT REPORT Vol.8 – LUCENE SCORING TIPS & TRICKS Copyright © RONDHUIT Co.,Ltd. 1 2011 3 24 Lucene Solr Lucene Similarity Similarity Javadoc Lucene 2.9 Similarity Javadoc http://lucene.apache.org/java/2_9_4/api/all/ org/apache/lucene/search/Similarity.html https://issues.apache.org/jira/browse/LUCEN E-1908 Lucene Excel Excel V V(q) V(d) (cos ) 2 2 2 V(q) V(d) |V(q)||V(d)| Excel RONDHUIT REPORT
ダウンロード - 株式会社ロンウイット
無料のオンラインハンズオンセミナーを開催しています 詳細・お申し込みはこちら 目次 Apache OpenNLP 日本語固有表現抽出モデルファイル livedoor ニュースコーパス 勉強会／セミナー資料 海外カンファレンス参加報告 セキュリティ警告 アーカイブズ Apache OpenNLP 日本語固有表現抽出モデルファイル Apache OpenNLP 1.9.0 以降で利用可能な、日本語固有表現抽出のための学習済みのモデルファイルです。商用利用可能です。 ダウンロード：rondhuit-ja-ner-1.0.0.zip（Apache License） livedoor ニュースコーパス 概要 本コーパスは、NHN Japan株式会社が運営する「livedoor ニュース」のうち、下記のクリエイティブ・コモンズライセンスが適用されるニュース記事を収集し、可能な限りHTMLタグを取り除い
インデックス分割ツール IndexSplitter (3.0) | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
RONDHUIT-REPORT-Vol5
RONDHUIT REPORT Vol.5 – LUCENE 2.9 NEW FEATURES Copyright © RONDHUIT Co.,Ltd. 1 RONDHUIT REPORT Vol.5 – LUCENE 2.9 NEW FEATURES Copyright © RONDHUIT Co.,Ltd. 2 RONDHUIT REPORT Vol.5 – LUCENE 2.9 NEW FEATURES Copyright © RONDHUIT Co.,Ltd. 3 st Lucene /Solr 100-0005 1-1-3 AIG B1F 03-5288-5927 FAX 03-5288-5928 sales@rondhuit.com http://www.rondhuit.com/
NumericRangeQuery, NumericField, NumericTokenStream (2.9) | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
Integrating BM25 & BM25F into Lucene1
Integrating BM25 & BM25F into Lucene Joaquín Pérez-Iglesias Introduction This document describes the BM25 and BM25F implementation using the Lucene Java Framework. The implementation described here can be downloaded from http://nlp.uned.es/~jperezi/Lucene-BM25/jar/models.jar. Both models have stood out at TREC by their performance and are considered as state-of-the-art in the IR community. BM25 i
livedoor Techブログ : 全文検索エンジン lucene(ルシーン) を使ってみた
こんにちは 。 検索 関連 を 担当 して いる やましー です 。 今回は livedoor で提供しているサービスの中の「検索関連」について書きます。 このブログでも過去に何度か取り上げられていますが、livedoor では検索エンジンとして HyperEstraier、lucene、mysql + senna、Namazu、SUFARY などを利用しています。 その中で lucene の利用方法や機能拡張について説明します。 lucene とは Apache Lucene は、Java で書かれた高性能で高機能な検索エンジンライブラリです。全文検索を（特にクロスプラットフォームで）必要とするほとんどのアプリケーションに適している技術です。※ 公式サイトから抜粋 インデックスの作成 lucene は転置インデックス型の検索エンジンなので、ドキュメントを検索するには、まずインデックスの作
Hadoop + Luceneで分散インデクシング - moratorium
Hadoop + Luceneで分散インデクシング 2008-08-27 (Wed) 1:07 Hadoop Hadoop (0.17系) + Lucene (2.3系) で検索用インデックスを分散インデクシングするコードを公開してみます。HDDに眠らせてるのはちょっともったいない。 いきなりソースコード。 package net.kzk9; import java.io.*; import java.util.*; import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; import org.apache.lucene.i
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
便利になったRAMDirectory | 関口宏司のLuceneブログ
lucene-gosen + Solr 3.1 | 関口宏司のLuceneブログ
日本Javaユーザーグループ
SSDを効果的に使い検索を高速化する方法 | 関口宏司のLuceneブログ
ほぼリアルタイムサーチ（2.9） | 関口宏司のLuceneブログ
Luceneで遊んでみる
Hello, Lucene （入門者向けプログラム例） | 関口宏司のLuceneブログ