ScriptUpdateProcessorの手軽な利用 - 株式会社ロンウイット
阿部 慎一朗 著 はじめに SolrのScriptUpdateProcessorを、サンプルコードを動かしながら紹介します。 ScriptUpdateProcessor とは？ Solr 4 から、インデクシングの前処理を行うUpdateRequestProcessorに、ScriptUpdateProcessorが追加されています。ScriptUpdateProcessorは、JVMがサポートするスクリプト言語(JavaScriptやJRubyなど)を使用して、事前コンパイルなしでスクリプトを実行し、ドキュメント登録時にインデクシングの前処理するというUpdateRequestProcessorです。 これまではインデクシングの前処理を行うのに、JavaでUpdateRequestProcessorをextendsしてコードを書く必要がありました。しかし、ScriptUpdateProc
Field collapsing/Result groupingについて
2. Copyright © 2010 Seamark, Inc. All Rights Reserved 2 自己紹介 • 株式会社シーマークの人 http://www.seamark.co.jp/ ほとんど会社にいませんが。。。 • 「Apache Solr入門」の著者 絶賛発売中！？ 3. Copyright © 2010 Seamark, Inc. All Rights Reserved 3 アジェンダ • Field Collapsing / Result Groupingの概要 • Field Collapsing（SOLR-236）について • Result Grouping（SOLR-1682=>trunk）について • Field CollapsingとResult Groupingの違いについて 4. Copyright © 2010 Seamark, Inc. All
Solrの導入資料を公開します - Hatena Developer Blog
こんにちは、 id:yanbe です。 全文検索エンジンLucene上に構築されたSolrという検索ミドルウェアがあります。拡張性・カスタマイズ性に富み、既存のデータのインポート機能が豊富なのもあって、広く利用されています。 参考: Solr - Wikipedia 国内のウェブサービスでのSolrの採用事例を挙げるとNAVERやCookpad、アメーバなどがありますが、はてなでも以前より一部のサービスでSolrを採用しています。 Solrの公式ドキュメント(英語)はwiki形式で提供されており、網羅的な情報はこちらで手に入ります。また、Solrの基本的な使い方を学べるチュートリアルもありますが、「すでにある典型的なLAMP構成のウェブサービスにSolrによる検索機能を組み込む」までには、ここからさらに多くの情報を調べる必要があり、Solrの導入のハードルとなっていると感じました。 そこで
Solr 4.0 の主な機能
4. Solr 4.0 の主要機能 プラガブルなシミラリティクラス FST対応 Codecプラグイン NRT PivotFacet pseudo-join SolrCloud ・3.6は3.x系の最後 ・4.0は年内、alphaは7/3リリース 5. Similarity いろんなランキングアルゴリズムに差し替え可能 参考 Lucene 4.0のスコア計算 http://www.slideshare.net/KojiSekiguchi/similarity-functions-in-lucene- 40-12652624 ・Okapi BM25 Model ・Language Models ・Divergence from Randomness Models ・Information-based Models 6. Finite State Automa
solr-scala-client 0.0.2をリリースしました - たけぞう瀕死ブログ
solr-scala-clientはSolrJをラップしたScala用のシンプルなSolrクライアントです。 https://github.com/takezoe/solr-scala-client 今回のバージョンでの修正点は以下の通りです。 SolrClientの生成時に初期化を行うための関数を渡せるようになりました。 上記の仕組みを使用してベーシック認証を行う機能を追加しました。 ファセット検索をサポートしました。 検索結果やクエリのパラメータにケースクラスを使用できるようになりました。 検索結果はドキュメントとファセット検索の結果を同時に返すようにしたので、直接Listで返すのではなく、MapQueryResultもしくはCaseClassQueryResultというケースクラスで返すようにしました。このケースクラスに検索結果のドキュメントとファセット検索の結果が格納されています。
Solrjサンプルコード集 | mwSoft
Solrjの導入 以下のURLからSolrを落としてきて、中に入っているsolr-core-x.x.x.jarとsolr-solrj-x.x.x.jarをクラスパスに追加。 http://lucene.apache.org/solr/ Mavenの利用も可能。レポジトリは以下を参照。 http://mvnrepository.com/artifact/org.apache.solr 今回のサンプル用のSchema設定 本記事のサンプルコードは、idとtextとdateという3つのフィールドを持つSchemaを利用しています。 schema.xmlは以下のような感じ。 <?xml version="1.0" encoding="UTF-8" ?> <schema name="coreName" version="1.4"> <types> <fieldType name="string" c
Solrの日本語対応 -新しく追加されたトークナイザ・トークンフィルタ- 株式会社ロンウイット
先日、Lucene/Solrのbranch_3x(3.6)とtrunk(4.0)にコミットされた日本語向けのトークナイザ・トークンフィルタをご紹介します。 LuceneのJIRAのチケット LUCENE-3305 にて、日本語形態素解析器Kuromojiが導入されました。 これにより、日本語ドキュメントに対して形態素解析に基づく単語分割が可能になります。 従来、Lucene/Solrで日本語対応をする場合は、lucene-gosenやSenを使用する方法などをとってきましたが、今回の対応であらかじめLucene/Solrに組み込まれたものを使用するということが可能になります。 また一方で、LUCENE-2906にて、CJK文字に関するトークンフィルタも追加されました。 本記事では、これらのトークナイザ・トークンフィルタに関して、2012/2/23時点のソースに基づいて調査したものを解説いた
SolrにWikipediaのデータを入れて遊ぶ
概要 全文検索エンジンのSolrを使って、Wikipedia（日本語版）の記事を検索する機能をさらっと作ってみる。面倒なことはすっ飛ばして、できるだけ少ない手数を選択。あと、ソースコードはJava。 注意事項として、Solrはけっこうメモリ食う。特にoptimize時とか、大掛かりなソート時とか。 メモリが少ないマシンでは使うと不自由するので避けた方が良いかもしれない。とりあえず手元の4G積んだマシンでは快適に動いている。 @CretedDate 2011/09/04 @Env Solr3.5.0 / lucene-gosen1.2.1 @UpdateDate 2012/02/21 Solr3.5.0に変更したりクエリの誤りを直したり Solrの導入 まずSolrをダウンロードして解凍する。 ここからダウンロード http://lucene.apache.org/solr/#getstar
Apache LuceneのNGramTokenizer - 13F
Apache Lucene で全文検索するようなアプリケーションを作成中。とりあえず CJKAnalyzer かと思っていたら こちら で NGramTokenizer という便利そうなものが紹介されていたので使おうとしてみた。 まず Analyzer が必要なので以下のようなものを作成。 public class NGramAnalyzer extends Analyzer { protected int minGram; protected int maxGram; public NGramAnalyzer(int minGram, int maxGram) { this.minGram = minGram; this.maxGram = maxGram; } public TokenStream tokenStream(String fieldName, Reader reader)
Lucene および Solr での見つけやすさの最適化 | Lucid Imagination by Basis Technology
「コンテンツがアプリケーション内に存在していても検索できない場合、果たして本当にコンテンツは存在していると言えるのか?」このような疑問に対して、この記事では、Lucene スタックを活用して、コンテンツ内の重要な内容を見つけ出すためのヒントおよびテクニックを提示し、コンテンツが見つけられるようにするにはどうすればいいかを考察する。 読者の方々が私と同じであれば、子供の頃、ウェブ サイトまたはハードディスク内のテキストおよびデータの検索を向上させる仕事をするようになるなんて思いもしなかったでしょう。さらに言えば、大学に入って計算機工学を専攻しているときでも、そんなことは考えつきもしなかったでしょう。それなのに現実には、コンテンツを検索する必要があるプロジェクトに携わっており、その方法を模索してます。あるいは、既に検索できるようにはなっているものの、テストの結果やプログラミングで培った直感から
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EIM one line ( jdbc + solr )
solr-jdbc - Project Hosting on Google Code
はてなブログ | 無料ブログを作成しよう
GC改善に役立つ新しいJVMパラメータ | 関口宏司のLuceneブログ
Google Code Archive - Long-term storage for Google Code Project Hosting.
IBM Developer
Solr勉強会第７回に参加しました。（発表もしました） | @johtani の日記
DebianにOpenJDK + Tomcat 7 + Solr 3.5.0 の環境を構築する
IBM Developer
Luceneで遊んでみる