ホワイトペーパー： Solrを利用した多言語検索の最適化 | Basis Technology
テキスト検索の精度を左右する自然言語処理パイプラインのプロセスを概観した後、多言語検索アプリのために Solr をカスタマイズする方法を具体的に説明します。さらに、精度が高くスケーラブルなソリューションを提供するために、多言語検索エンジンの採り得る３種のアーキテクチャの長所と短所を議論します。多言語検索アプリのベースとなる検索エンジンは複数の言語間でシームレスに動作することを期待されます。本ホワイトペーパーでは、テキスト検索の精度を左右する自然言語処理パイプラインのプロセスを概観した後、多言語検索アプリのために Solr をカスタマイズする方法を具体的に説明します。さらに、精度が高くスケーラブルなソリューションを提供するために、多言語検索エンジンの採り得る３種のアーキテクチャの長所と短所を議論します。 ＊ 右の図をクリックし、ダウンロードしてください。 INTRODUCTION Today
Solrを使う際にどうぞ。Ajaxベースの検索フロントエンド·AJAX Solr MOONGIFT
AJAX SolrはSolrのAjax検索インタフェースです。 個人的にもWebサービスの検索エンジンとして使うことが増えてきているSolr。そんなSolrのフロントエンドとして使えるソフトウェアがAJAX Solrです。 デモです。左側がフィルタ、右側に結果が表示されています。 結果の全文を読むこともできます。 フィルタ条件は左上に表示されています。×リンクをクリックして解除することもできます。 社内の検索エンジンに採用したりした場合、管理画面を作る手間なくAJAX Solrを使えます。検索エンジンをより手軽に使えるソフトウェアです。 AJAX SolrはJavaScript製のオープンソース・ソフトウェア（Apache License 2.0）です。 MOONGIFTはこう見る ローカルOSにおける検索エンジンは随分と広まってきたような思います。しかし意外とまだまだ弱いのが社内のファイ
[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット
日本語Wikipediaなどの「辞書型コーパス」からLucene/Solr用の類義語辞書を自動作成するシステムを開発しましたので、簡単にご紹介します。 参考資料（SlideShare） 辞書型コーパスからの類義語知識の自動獲得（SlideShare） Lucene/Solrと類義語検索 Lucene/SolrではSynonymFilterを使って類義語検索を簡単に実現することができます。たとえば次のような内容のsynonyms.txtを用意し： 自動車損害賠償責任保険, 自賠責保険 Solrのschema.xmlファイルに次のようなフィールド型を定義すれば： <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100"> <analyzer> <tokenizer class="solr.Japane
![[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット](https://cdn-ak-scissors.b.st-hatena.com/image/square/05aaa2c0891efcc9c0687adc729c2094a968ac35/height=288;version=1;width=512/http%3A%2F%2Fwww.rondhuit.com%2Fwordpress%2Fwp-content%2Fuploads%2F09b26830239f52887ae9193ddee1694e-480x224.png)
Solr 4.0: Partial documents update – Solr.pl
As Lucene and Solr are slowly showing up on the horizon I decided to take a look at another Solr feature which may be very useful for users – partial document update. Solr Version In order to test partial documents update functionality I used the upcoming Apache Solr 4.0 alpha. Assumptions Lets assume, that we need to update a single field in the index and we don’t want to send the whole document.
From Solr to elasticsearch - Government Digital Service
https://gds.blog.gov.uk/2012/08/03/from-solr-to-elasticsearch/ Search is right at the centre of GOV.UK. It’s the main focus of the homepage and it appears in the corner of every single page. Many of our recent and upcoming apps such as licence finder also rely heavily on search. So, making sure we have the right tool for the job is vital. Recently we decided to begin switching away from Solr to el
全文検索エンジン Solr のパフォーマンスチューニングについて - にょきにょきブログ
この記事は古くなりました。新しい知見は下記を参照。aoking.hatenablog.jp 概要 全文検索エンジン Solr を使用していて、パフォーマンスチューニングに四苦八苦した話。 ここでは、検索時ではなくドキュメントの追加時についてのチューニングについて記してある。 更新自体は参照に比べて頻度が少ないが、参照はレプリケーションして負荷分散しやすい。 更新は整合性を保つために一台のマスターノードに対して行われるので更新はボトルネックになりやすいのだ。 定期的に IO 負荷が高くなる Solr を使っていると、一時的に猛烈に IO 負荷が高まる時がある。fsync になんと1分以上かかるような、猛烈な負荷だ。 これはインデクスのマージ時に起きる IO 負荷で、巨大なインデクス同士のマージだとその合計サイズ分の IO が発生することで IO 処理が専有されたままになっていた。 インデクス
Japanese Linguistics in Lucene and Solr
Presented by Christian Moen, Founder and CEO Atilika Inc - See conference video - http://www.lucidimagination.com/devzone/events/conferences/lucene-revolution-2012 This talk gives an introduction to searching Japanese text and an overview of the new Japanese search features available out-of-the-box in Lucene and Solr. Atilika developed a new Japanese morphological analyzer (Kuromoji) in 2010 when
Stupid Solr tricks: Introduction (SST #0) – Robot Librarian
Completed parts of the series: A Solr Field Type for numeric(ish) IDs Using localparams in Solr (or, how to boost records that contain all terms) Requiring/Preferring searches that don’t span multiple values Boosting on Exactish (anchored) phrase matching Those of you who read this blog regularly (Hi Mom!) know that while we do a lot of stuff at the University of Michigan Library, our bread-and-bu
慎ましい構成で使うSolr « NAVER Engineers' Blog
お世話になっております、開発チームの池上です。 最近ちょっとした検索機能にSolrを導入しました。Solrは検索エンジンのミドルウェアでご存知の方も多いと思います。大規模な構成による導入実績が豊富でWeb上にもたくさんの事例がありますが、今回は慎ましい構成の事例を紹介させて頂こうと思います。 使用しているSolrのバージョンは2012年1月時点で最新の3.5.0です。 なお、検索エンジンやSolrに関する基礎的な情報につきましては、有用な解説がすでに多数存在していますので割愛させて頂きます。 今回はつぎの前提条件と要件を意識して構築しました。 前提条件 サーバは極力少なめで ミッションクリティカルな機能ではない データ量はそれほど多くない 要件 更新はある程度頻繁 遅くとも数分以内にはインデックスに更新を反映させたい 一般的なWeb検索のように「いい感じに見つける」よりは「（入力されたキ
Mapping CharFilterFactoryの使い方 - エメラルドアオキロック
Solrには文字列解析の為の仕組みがたくさん用意されています。またそれらは柔軟に組み合わせやパラメータによるカスタマイズが可能で、色んな用途に対応できるようになっています。それらは個々のカスタマイズ可能なコンポーネントとして、下記のURLで説明されています。 http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters コンポーネントによっては、上記ページの他にjavadocを見てもあまり詳しく説明がなかったり、パラメータにも何を設定できるのかまでは細かく書かれていません。そこで勉強がてら、これらのコンポーネントの使い方を一つずつ紹介していきます。また、使い方だけではなく、ソースコードから内部の詳細についても一緒に見ていこうと思っています。 （全体的な仕組みの詳細はSolr本を参照してください。機会があれば書いてみるつもりです。）
Solrの日本語対応 -新しく追加されたトークナイザ・トークンフィルタ- 株式会社ロンウイット
先日、Lucene/Solrのbranch_3x(3.6)とtrunk(4.0)にコミットされた日本語向けのトークナイザ・トークンフィルタをご紹介します。 LuceneのJIRAのチケット LUCENE-3305 にて、日本語形態素解析器Kuromojiが導入されました。 これにより、日本語ドキュメントに対して形態素解析に基づく単語分割が可能になります。 従来、Lucene/Solrで日本語対応をする場合は、lucene-gosenやSenを使用する方法などをとってきましたが、今回の対応であらかじめLucene/Solrに組み込まれたものを使用するということが可能になります。 また一方で、LUCENE-2906にて、CJK文字に関するトークンフィルタも追加されました。 本記事では、これらのトークナイザ・トークンフィルタに関して、2012/2/23時点のソースに基づいて調査したものを解説いた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Solr and Elasticsearch, a performance study
Solr Distributed Search and the Stale Check
第9回Solr勉強会を主催しました。#SolrJP | @johtani の日記
WikipediaからのSolr用類義語辞書の自動生成
Apache Solr vs Elasticsearch - the Feature Smackdown!
TechCrunch
Login Modal Dialog Window with CSS and jQuery
Solr 4.0 の主な機能
Apache Solr Archives
