『Ruby on RailsとApache Solrで構築するドキュメント全文検索システムの開発』
はじめまして、アプリケーションエンジニアをしています、たかぎわ (@shun_tak) と申します。 2013年度4月入社予定の内定者で、現在はアルバイトとして週に2日間ほど勤務しております。 今回のエントリーでは、私が業務で開発した社内システムについて紹介しようと思います。 社内システム Tech Search を開発・リリースしました。Tech Searchのリリースにより、社内に蓄積された知識資産の活用が大幅に改善されました。 Tech Searchとは、弊社の研究レポート制度を利用して執筆されたテックレポートの全ファイル・全文章を横断的に検索するための社内システムで、Ruby on RailsとApache Solrを利用して実現しました。全文検索だけでなく絞り込み検索も実装し、UIにも手を抜かず、ユーザーに使いやすいシステムを目指して開発しました。 Tech Searchがリリー
全文検索エンジン Solr のパフォーマンスチューニングについて - にょきにょきブログ
この記事は古くなりました。新しい知見は下記を参照。aoking.hatenablog.jp 概要 全文検索エンジン Solr を使用していて、パフォーマンスチューニングに四苦八苦した話。 ここでは、検索時ではなくドキュメントの追加時についてのチューニングについて記してある。 更新自体は参照に比べて頻度が少ないが、参照はレプリケーションして負荷分散しやすい。 更新は整合性を保つために一台のマスターノードに対して行われるので更新はボトルネックになりやすいのだ。 定期的に IO 負荷が高くなる Solr を使っていると、一時的に猛烈に IO 負荷が高まる時がある。fsync になんと1分以上かかるような、猛烈な負荷だ。 これはインデクスのマージ時に起きる IO 負荷で、巨大なインデクス同士のマージだとその合計サイズ分の IO が発生することで IO 処理が専有されたままになっていた。 インデクス
Solrで検索する時にboost値を設定する(Extended DisMax)
■ Document Boost JavaでSolrにインデクシングするプログラムを書く時に、 SolrInputDocumentっていうクラスを使ったりしますが、 特定のフィールドの重要度を上げたいな、という時は ↓のメソッドを使って第3引数にfloatで重み付けします(デフォルトは1.0) addField(java.lang.String, java.lang.Object, float) コレでイイじゃんって言われればそれまでなのですが、 重要度をコロコロ変えて、どんな感じに影響があるか確認しながら検索したい時に、 都度ドキュメントをインデックスし直して、、ってかなり面倒な事になります。 ■ Query Boost インデックスする時にboost値を設定するのが面倒な事になるんだったら、 検索する時に設定してしまえばイイじゃない、というアレです。 DisMaxというコンポーネントを
lucene-gosenの辞書編集方法 - エメラルドアオキロック
lucene-gosenとは lucene-gosenとは、全文検索エンジンのLucene/Solr3.1及び4.0で動作する、日本語の形態素解析用のJavaライブラリで、ここで公開されています。なお、ここで扱うlucene-gosenのバージョンは1.0.1とします。 一般的に日本語を扱う場合には、英語のように空白で文章を単語に区切れない為、n文字ずつ格納するN-GramのCJKAnalyzer（Bi-Gram）や、形態素解析を用いるJapaneseAnalyzer（lucene-gosenに含まれる）を主に用います。それぞれメリットとデメリットがあって、N-Gramは検索もれが少ない分ノイズが多く、形態素解析を用いるとノイズは少なくなるが検索もれが多くなるという特徴があります。どちらも一長一短なので、日本語を扱う場合二つのAnalyzerを併用したりします。（例として、形態素解析を用い
2010-05-30
solrで同義語検索を行う方法。 同義語には以下のようなものがある 表記揺らぎ twitter <=> ついったー 省略形 United States of America <=> USA 類義語 検索 <=> 探索 ここでは、同義語とは なんらかのデータソース上(同義語辞書)で定義された2つの語とする。 つまり、辞書上に (twitter, ついったー)が同義語と定義されていれば同義語とする。 同義語検索とはここでは、 "twitter"で検索した際に、その同義語"ついったー"を含む文書を検索すること。 インデクス作成時に行う場合(a) 例えば "twitterに投稿しました。" のような文書は 通常時 "twitter に 投稿 し まし た 。" のようにパースされ。 単語 位置情報 twitter 1番目の単語 に 2番目の単語 投稿 3番目の単語 する 4番目の単語 ます 5番目
Masakiの戯言部屋::【Solr】クエリパラメータについて
正直まだ調査中のところが多いのです。 今の時点でも結構精度はよくなってきてはいるのですが形態素解析の悪いところが出るケースもあります。 辞書に登録されていないものに関してはうまく行かないことがあります。 後はLike検索がうまく言ってない場合も。 なのでこのエントリーでは引用を中心に書きます ↓参考サイト [Lucene] Query Parser Syntax｜ミ通信（本編） http://ameblo.jp/miralis/entry-10289721378.html Ride（らいど)の技術メモ http://alexride.blog83.fc2.com/blog-entry-6.html クエリパラメータ ■qt クエリータイプで、標準はstandard。 詳細は現在調査中。 ■wt 検索結果のフォーマットを指定できる。 xml：XML形式 js
CommonQueryParameters - Solr Wiki
Sorting can be done on the "score" of the document, or on any multiValued="false" indexed="true" field provided that field is either non-tokenized (ie: has no Analyzer) or uses an Analyzer that only produces a single Term (ie: uses the KeywordTokenizer) You can sort by index id using sort=_docid_ asc or sort=_docid_ desc As of Solr3.1, sorting can also be done on arbitrary function queries (as in
RONDHUIT-REPORT-Vol8
RONDHUIT REPORT Vol.8 – LUCENE SCORING TIPS & TRICKS Copyright © RONDHUIT Co.,Ltd. 1 2011 3 24 Lucene Solr Lucene Similarity Similarity Javadoc Lucene 2.9 Similarity Javadoc http://lucene.apache.org/java/2_9_4/api/all/ org/apache/lucene/search/Similarity.html https://issues.apache.org/jira/browse/LUCEN E-1908 Lucene Excel Excel V V(q) V(d) (cos ) 2 2 2 V(q) V(d) |V(q)||V(d)| Excel RONDHUIT REPORT
soleami （ソレミ）の使い方〜Solrの立ち上げからログの可視化まで〜 - 株式会社ロンウイット
Apache Solrが出力するクエリログを可視化するツールsoleamiの使い方をご紹介します。本稿ではもっとも一般的な使い方を想定し、SolrをTomcat上にデプロイして使う場合について解説します。 おおまかな手順は、以下の通りです（すでにTomcat上で稼働しているSolrをお持ちの方や弊社サブスクリプション・パッケージのお客様は、手順４．からお読みください）。 Tomcatのダウンロード Solrのダウンロード 文字化け対策 solrconfig.xmlの編集 SolrのTomcatへのデプロイと起動 検索を実行 soleamiでログを可視化 なお、Linux/Macの環境を前提に話を進めます。Windowsの場合はcygwinなどを使いながら、置き換えて読み進めてください。 またユーザsolrがログインディレクトリ/home/solrの下にworkというディレクトリを作成し、そ
solrのスコア計算 | mono-blog
solr（Lucene）のスコア計算を改めて調べました。 こちらが詳しく書かれています。 score(q, d) = coord(overlap, maxOverlap). queryNorm(q). Σ(tf(t in d). idf(t)＾2. norm(t, d)) t in q というのが計算式です。 solrのリクエスト時にdebugQuery=onで実行して、こちらと見比べてみます。 テストデータをインポートして、”solr ipod”で検索、4件ヒットします。 例） http://localhost:8983/solr/select/?q=solr+ipod&version=2.2&start=0&rows=10&indent=on&debugQuery=on そのうち、1件目のスコア情報を見てみると、下記のような感じです。 0.2925402 = (MAT
optimize()中は元のインデックスの2倍の空き容量が必要な件 | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
Solr/Lucene
Intro Solr/Lucene 4.4, but also relevant for later versions Term indices live in memory. If you have a lot of documents and/or lots of indexed fields those term indices will require a lot of memory. But you can do something to limit it. Problem The term index is basically the .tip files in your Lucene index-folder. They live almost 1-to-1 in memory. A concrete case I have worked on Have an indexed
全文検索システム: Fess - オープンソース全文検索サーバー Fess (フェス)
概要 現在表示されているサイトは旧サイトです。新サイトは http://fess.codelibs.org/ja/ です。 Fess は「5 分で簡単に構築可能な全文検索サーバー」です。Java 実行環境があればどの OS でも実行可能です。Fess は Apache ライセンスで提供され、無料 (フリーソフト) でご利用いただけます。 Seasar2 ベースで構築され、検索エンジン部分には 2 億ドキュメントもインデックス可能と言われる Solr を利用しています。 ドキュメントクロールには S2Robot を利用することで、Web やファイルシステムに対するクロールが可能になり、MS Office 系のドキュメントや zip などの圧縮ファイルも検索対象とすることができます。 特徴 5 分で簡単に構築可能な全文検索サーバー Apache ライセンスで提供 (フリーソフト) OS 非依存
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Solr 4.0 の主な機能
全文検索入門
http://soleami.com/ja
IBM Developer
solr最適化 - 刺身の上にたんぽぽ乗せる日記
第３回Solr勉強会 こんどこそ本当のSolr1.4化
IBM Developer
