「Solr@Cookpad」- Solr勉強会で発表してきました - 不可視点
9月12日にECナビにて第6回Solr勉強会がありました。事例紹介に「Solr@cookpad」という発表で参加させて頂いた時の資料を公開しておきます。 みなさんの発表が面白くてすごく勉強になりました。勉強会の様子はこちらに詳細に書かれています。 http://johtani.jugem.jp/?eid=26 スライド：Solr@cookpad Solr at cookpad View more presentations from penguinana 分かりにくいスライドかも…お気づきの点ありましたらコメント欄などでお知らせください。 ところで また、スライドでも少し紹介したtwitter検索(yats)ですが、15億docのセットを150msで7000万req/月で返していて、Solrのベンチマークにも役立っておったのですがAPIの規約にひっかかっている（第三者がオリジナルのAPIを
Solr でファセット検索 | Lucid Imagination by Basis Technology
ファセットを使った検索は、 あらゆる種類の検索アプリケーションで見つけやすさとユーザー体験を向上する方法として、 欠かすことのできない機能となりつつある。 本稿では、 Solr の生みの親、 Yonik Seeley（ヨニック・シーリー）が、 Solr におけるファセット検索の基本を紹介する。 ファセット検索は、 諸項目や検索結果をカテゴリー別に動的なかたまりに分けることにより、 ユーザーが任意のフィールドの任意の値により検索結果を絞り込む（あるいは除外する）ことを可能とします。 画面上のファセットひとつひとつには、検索結果中のそのカテゴリーに一致するヒット数が表示されます。 ユーザーは、検索結果に制約を与えることにより、絞り込んでいくことができます。 ファセット検索は、 ファセット閲覧、 ファセット・ナビゲーション、 ガイド付きナビゲーション、 パラメーター的検索、 などとも呼ばれます。
『[Lucene] Query Parser Syntax』
ミ通信（本編） 転職がかない、2006年1月より東京渋谷で新たに働く一介のITエンジニアの日記。徒然なるままに雑記などを書いていきたいと思います。 本家ドキュメント：http://lucene.apache.org/java/2_3_2/queryparsersyntax.html 目次 * Overview * Terms * Fields * Term Modifiers o Wildcard Searches o Fuzzy Searches o Proximity Searches o Range Searches o Boosting a Term * Boolean Operators o o AND o + o NOT o - * Grouping * Field Grouping * Escaping Special Characters ■Overvier Luceneは
![『[Lucene] Query Parser Syntax』](https://cdn-ak-scissors.b.st-hatena.com/image/square/69914645499d591ab464325eda44e75e8e22525a/height=288;version=1;width=512/https%3A%2F%2Fstat.profile.ameba.jp%2Fprofile_images%2Fbc%2Fmiralis%2F1238241587286.jpg)
Masakiの戯言部屋::【Solr】クエリパラメータについて
正直まだ調査中のところが多いのです。 今の時点でも結構精度はよくなってきてはいるのですが形態素解析の悪いところが出るケースもあります。 辞書に登録されていないものに関してはうまく行かないことがあります。 後はLike検索がうまく言ってない場合も。 なのでこのエントリーでは引用を中心に書きます ↓参考サイト [Lucene] Query Parser Syntax｜ミ通信（本編） http://ameblo.jp/miralis/entry-10289721378.html Ride（らいど)の技術メモ http://alexride.blog83.fc2.com/blog-entry-6.html クエリパラメータ ■qt クエリータイプで、標準はstandard。 詳細は現在調査中。 ■wt 検索結果のフォーマットを指定できる。 xml：XML形式 js
MoreLikeThis | Apache Solr Reference Guide 6.6
The MoreLikeThis search component enables users to query for documents similar to a document in their result list. It does this by using terms from the original document to find similar documents in the index. There are three ways to use MoreLikeThis. The first, and most common, is to use it as a request handler. In this case, you would send text to the MoreLikeThis request handler as needed (as i
SolrでMoreLikeThisクラスを使って検索 - カブトボーグを写経するblog
solr-rubyメモ - 山羊の頭の日記 http://d.hatena.ne.jp/tolerance/20080802#p1 MoreLikeThis - Solr Wiki http://wiki.apache.org/solr/MoreLikeThis こちらを見る限りできるらしい おまけ MoreLikeThisComponent と Solr スキーマ MLT では、フィールドが保管されているか、あるいはフィールドが文書主体の方法で情報を保管する term vector を使用する必要があります。MLT は文書のコンテンツを使用して、その文書で特に重要な用語が何であるのかを判断します。そして、その重要だと判断した用語と、元のクエリー語とを使って新しいクエリーを作成し、そのクエリーを実行依頼して新たな結果を取得します。このプロセスは、term vector を使うと遙かに効率的
Solr: おちエンのブログ
で、テーブルは制約はつけていませんが、ER図を書くと以下のような感じ。 データが入っていないと意味がないので、下記の SQL でデータを入れておきます。 INSERT INTO maker(name) VALUES('apple'); INSERT INTO maker(name) VALUES('SONY'); INSERT INTO maker(name) VALUES('MicroSoft'); INSERT INTO product(mid, name) VALUES (1, 'iPhone'); INSERT INTO product(mid, name) VALUES (1, 'iPod'); INSERT INTO product(mid, name) VALUES (1, 'iPad'); INSERT INTO product(mid, name) VALUES (2,
Solr勉強会行ってきた。 - public static void main
21日にECナビさんで開催されたSolr（そーら）勉強会に参加してきました。 http://atnd.org/events/937 Luceneを1、2年前ぐらいに触っていて、そのときSolrも調査したことがあったので、その頃からどのように変わったのか楽しみにしていきました。 以下発表内容のまとめです。 Solrとは？（ロンウィット関口さん） 全文検索ライブラリのLucene JavaのAPIを使うので、開発期間の短くなっている昨今では導入の敷居が高い SolrはLuceneを使った検索サーバ実装 HTTPベースのAPIが提供されている→言語を選ばない 検索アプリが非常に楽に作成可能→時代に合っている Solrとのデータやりとり XMLで登録データを作成（CSVでも可）→HTTPでPOSTすると登録が完了 検索結果もXMLでGETする 検索アプリでは、XMLで返ってきた結果を加工してHTM
Solr のディレクトリ構造: おちエンのブログ
solr にはゼロから make できるようにソースファイルがついてきたり、サンプルを実行できるように jetty が同梱されてたりします。 それが原因でディレクトリ構造が複雑になっている気がします。 今回はこのディレクトリ構造を解明したいと思います。 solr は jetty で動かすという前提にすると、example というディレクトリ名が気に入らないのでこれを変更することにします。ただ、example ディレクトリはほとんど jetty に関連するファイルになっているため、example ディレクトリを jetty ディレクトリと名前を変えようと思います。 そうすると、make 前のディレクトリ構造は以下のようになります。 jetty ディレクトリより上のディレクトリは、solr を make するための Makefile (build.xml) やソース群です。 jetty ディレ
Installing Solr on Ubuntu Linux
Following are instructions for installing the Solr search server on Ubuntu linux. There are several manual steps in setting up Solr, and most of the other documents I came across on the internet are inadequate in some (or in many) ways so I enlisted the help of colleagues and documented the steps start-to-finish here. I found Solr not to my liking, encountering significant scaling issues while ind
Solr1.4-devとcmecab-java
cles::blog 平常心是道 blogs: cles::blog NP_cles() « VMWareでディスクを拡張する :: 正規表現で制御文字をフィルタする » 2009/06/29 Solr1.4-devとcmecab-java nlp java solr 110 0へぇ 最近Solrでつくる検索サーバーが個人的にちょっとホットなので、自分でも環境構築をしてみました。 Solr 1.3で日本語の形態素解析に基づくインデックスを作りたい場合senのダウンロードページにあるlucene-ja-2.0test2.zipからlucene-ja.jarとsen.jarを取り出してlibに配置し、schema.xmlに下記を追加するように指示*1している場合が多いようです。 <fieldType name="text_sen" class="solr.TextField"> <ana
第5回 全文検索エンジン「Lucene/Solr」を導入する
今回は実際にLinuxマシン上にSolr/Luceneをインストールします。インデックスにデータを投入した上で，Solr/Luceneに組み込まれている管理機能の画面から検索を実施するところまでを紹介します。 今回の作業で必要になるモジュール類は以下の通りとなります。 - Solr（Luceneは同こん） - Java SDK（1.5以降） - lucene-ja（N-gram解析機能） - sen（形態素解析機能） なお，今回の作業では日本語解析モジュールを導入しますが，その中で形態素解析モジュール用の辞書の作成が必要になります。形態素解析モジュール用の辞書作成作業では以下のモジュールが必要になります。 - ant（1.7以降） - perl（5.0以降） では，導入作業を進めましょう。 （1）Javaのインストール まず，最新のSolr 1.3ではJava 1.5以上のバージョンが必要
Solr1.3(Jetty)でSenを使えるようにする設定方法:お題目うぉっち
2008年12月30日 Solr1.3(Jetty)でSenを使えるようにする設定方法 現在、Solr1.3をいろいろいじくる際には、最初からついてくるJettyのExampleをそのまま流用して使っている。 Senの組み込みもできているのだが、あれこれ試行錯誤をしながらセットアップしたので、どれが本当に必要な設定なのか、実はよく分かっていないという状態。が、一度はうまく動いているものを下手に変更して動かなくなるのは避けたい。そんなこんなで「触らぬ神にたたりなし」だったのだが、今後の新規インストールの際に再びハマりそうな気がしたので、Senの組み込みを0からやり直してみた。 参考にさせていただいたのは、いつも参考にさせていただいている下記のページ。ありがとうございます。 日本語形態素解析器Senを導入する その2 lucene-jaのインストール Solrお試し2 普通に読むと、sen.j
2010-05-27
Solr(というかLucene)で日本語を使えるようにするには 大きくわけて、N-グラム(CJKAnalyzer)か形態素解析(JapaneseAnalyzer) を使う方法がある。 N-グラムは東京都で検索すると京都が引っかかったりと残念なので、 形態素解析を使いたいのだが、Lucene-jaでは形態素解析にsenを使わなきゃいけない。 senはバギーなので(辞書に登録する単語数が少ない場合は問題ない) Lucene-jaを改変してGoSen（senよりかはマシ）用のラッパーを作らなきゃいけない。 antを入れておきましょう（eclipseなら標準ではいってる） ダウンロード http://itadaki.svn.sourceforge.net/viewvc/itadaki/GoSen/ より落とす。SVNがない場合はしたのほうでtar.gz形式でダウンロードできる $GoSen_HOM
日本語形態素解析器Senを導入する その2 lucene-jaのインストール - Solr, Python, MacBook Air in Shinagawa Seaside
lucene-ja とは lucene-ja は Sen のラッパーとして Solr に日本語形態素解析機能を提供します。 大雑把に言うと検索エンジン Solr と 日本語形態素解析器 Sen をつなぎ合わせる役割です。 Solrから形態素解析器によってトークナイズされた単語で、検索できるようにするための縁の下の力持ちですね。 では、れっつインストール ダウンロード 下からlucene-ja-2.0test2.zipをダウンロードして解凍する https://sen.dev.java.net/servlets/ProjectDocumentList?folderID=755&expandFolder=755&folderID=0 % unzip lucene-ja-2.0test2.zip インストール lucene-ja.jarとsen.jarをSolrのライブラリディレクトリにコピーす
mget
yatsは検索結果のユーザーアイコンのURLは今までMySQLから取り出していた。 tritonnからSolrに変えてもそうしていたのは、ユーザーがアイコンを更新されたとき、Solrへの更新は出したくなかったから。 ただし、MySQLへのつぶやきの書き込みが増えるにつれてreadが怪しい感じになってきたのでredisのmgetでやることにした。 redisでなくtokyotyrantでも良かったのだがデータベースが切れる点が扱いやすいと思う。 今redisにはジャンル推定用の単語情報が入っていたが、 db=1として新たにtwitter user profileのための空間を切った。 9行目のdbというところで切り替えられる。 you@ubuntu:~/redis-1.2.4$ ./redis-cli info redis_version:1.2.4 arch_bits:32 multipl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
arito
IBM Developer
ruby on rails から solrの検索をできるようにしたい。その道のりを書いていこうと。 - siroken3の日記
