Solr4.0のデフォルトのschema.xmlを読む
こんにちは。 前回Herokuで全文検索事情について書きましたが結局は自前でSolrのサーバを立てることになりそうです。 Herokuには前回とりあげた以外にもElasticSearchのラッパーが現在ベータ版のAddOnとしていくつかあるんですが、多分どれも似たり寄ったりです。(-- 結局のところ日本人スタッフのいない環境で作成された全文検索サービスはもれなく日本では使い物にならん！という結論に達しました。(^^;;; □□□□ そんな訳で最近よくSolrをいじっているわけですが、日本語での全文検索エンジンを構築する場合に早い段階で意思決定しなければならない事柄の一つに単語分割にN-gramと形態素解析のどちらを使用するか？という命題があります。 この両者がどういうアルゴリズムであるか？またそれぞれにどういうメリット・デメリットがあるか？という点については多くのサイトで解説されているので
solrとelasticsearchの比較
elasticsearchの紹介です！ atnd.org/events/33718
強烈に素晴らしいプロダクトに変貌した Apache Solr - Solr 4.0 登場 - にょきにょきブログ
Apache Solr 4.0 がリリースされた。 本記事では Solr 4.0 の新機能や改善された点のうち気になるものを紹介する。 概要 Solr 4.0 では、下記の変更が入る。 83 個の新機能 13 個の最適化 121 個のバグ改修 Solr 4.0 はメジャーバージョンアップにふさわしい、非常に強力なリリースとなる。 SolrCloud Solr 4.0 の数ある新機能のうちの目玉機能。 SolrCloud という名前から推測できるように、Solr の分散構成が行えるようになった。とはいうものの、Solr 3.6 以前でもレプリケーションは行えたのだが、Solr 4.0 は一味ちがう。 今までより断然賢くなった。シャーディングもクラスタリングも簡単な設定で行うことができる。インデクス書き込みも複数ノードから行える。そしてなにより自動フェイルオーバーができるようになった。 さらに
全文検索エンジン Solr のパフォーマンスチューニングについて - にょきにょきブログ
この記事は古くなりました。新しい知見は下記を参照。aoking.hatenablog.jp 概要 全文検索エンジン Solr を使用していて、パフォーマンスチューニングに四苦八苦した話。 ここでは、検索時ではなくドキュメントの追加時についてのチューニングについて記してある。 更新自体は参照に比べて頻度が少ないが、参照はレプリケーションして負荷分散しやすい。 更新は整合性を保つために一台のマスターノードに対して行われるので更新はボトルネックになりやすいのだ。 定期的に IO 負荷が高くなる Solr を使っていると、一時的に猛烈に IO 負荷が高まる時がある。fsync になんと1分以上かかるような、猛烈な負荷だ。 これはインデクスのマージ時に起きる IO 負荷で、巨大なインデクス同士のマージだとその合計サイズ分の IO が発生することで IO 処理が専有されたままになっていた。 インデクス
第７回 Solr 勉強会に行ってきた
Solr の勉強会 (2011/12/19 19:00 to 21:30) に行ってきました。 第７回Solr勉強会 - atnd.org #SolrJP - twitter.com 2011/12/19_第7回 Solr＆検索エンジン勉強会( #SolrJP ) - togetter.com Solr勉強会第７回に参加しました。（発表もしました） - johtani.jugem.jp ので、そのメモ。 会場を提供してくださった VOYAGE GROUP さん、運営者の方々、ありがとうございました。 Solr に特化した内容ではなく、ちょっと間口を広げて検索一般の話もあって勉強になりました。 というか、ちゃんと統計とか数学とかを勉強し直さないと先がないなぁ、と思ったり。。。 Solrベースの全文検索サーバFess 株式会社エヌツーエスエム 菅谷 信介さん オープンソース全文検索サーバー F
apache-solr-3.5.0をGlassfish3.0.1に組み込んでみる - motieの日記
Solrは検索エンジンにLuceneを利用した、Java環境で動作する検索エンジンサーバです。デモを動かしてみて得た感触は以下の通り。（なお、僕は検索エンジンもSolrのこともあまり詳しくないんで表現が適切でないものが多いかもしれません、ご容赦ください。） 環境を適切に設定すればわりとさくっと動かせる 日本語のドキュメントが少ない（というか、全文検索エンジンの仕組み、たとえばIndexとかが体系的に難しくて、触ったことある人はいても文章を公開してないだけかも） 多言語に対応してない＝日本語のインデックス作るにはプラグインが必要（一般的にも、日本語の処理には形態素解析用のエンジンと辞書が必要ですね） インストールしたら、付属してるサンプルデータをインデックス化してお試し可能 XML形式やJSON形式で検索・結果応答の取得ができる（別に検索Webアプリとか立てて、JSONでリクエストを投げて応
はてなブログ | 無料ブログを作成しよう
オリジナルは自分で生むしかない クーラーをつけている室内で、こつこつ編む。毎日最低1つ、定番のグラニースクエアを編む。そう、最近のマイブームは編み物です。手作りでオリジナルのものを作りたいという願望から。去年の春あたりにもやっていたんですが、急に1ヶ月ほどで飽きて終了。それから、先…
Lucene/Solr 4.0.0リリース＆lucene-gosenの4.0対応 | @johtani の日記
一定期間更新がないため広告を表示しています
soleami （ソレミ）の使い方〜Solrの立ち上げからログの可視化まで〜 - 株式会社ロンウイット
Apache Solrが出力するクエリログを可視化するツールsoleamiの使い方をご紹介します。本稿ではもっとも一般的な使い方を想定し、SolrをTomcat上にデプロイして使う場合について解説します。 おおまかな手順は、以下の通りです（すでにTomcat上で稼働しているSolrをお持ちの方や弊社サブスクリプション・パッケージのお客様は、手順４．からお読みください）。 Tomcatのダウンロード Solrのダウンロード 文字化け対策 solrconfig.xmlの編集 SolrのTomcatへのデプロイと起動 検索を実行 soleamiでログを可視化 なお、Linux/Macの環境を前提に話を進めます。Windowsの場合はcygwinなどを使いながら、置き換えて読み進めてください。 またユーザsolrがログインディレクトリ/home/solrの下にworkというディレクトリを作成し、そ
solr-rubyを用いてRailsアプリケーションからSolrでの検索を実行する方法
バージョン Apache Solr 3.5.0 solr-ruby 0.0.8 ruby 1.9.3 rails 3.2.2 コード 今回はいきなりコードを載せてみる。solr-rubyはGemfilesで読み込むようにしている。 # coding: utf-8 require 'solr' class SearchController < ApplicationController def initialize @solr = Solr::Connection.new( 'http://localhost:8983/solr', :autocommit => :on ) end def index data = submit(params) numFound = data['response']['numFound'] docs = data['response']['docs'] #
結局、Rails 3.2 で 大量のデータを検索する場合、Sunspot な Solr が一番 いい感じ。という面白くないオチ。 | JAM☆ぱん
一定期間更新がないため広告を表示しています
TomcatでSolrを使う - 前人未踏の領域へ Androidアプリ開発編
この記事はApache Solr入門を参考にしました。http://gihyo.jp/book/2010/978-4-7741-4175-6 環境 OS Mac OS X Java 1.6.0_26 Solr-src 3.3.0 Tomcat 7.0.14 追加設定 一言でいうとwarをコピーしてsolrのホームディレクトリをTomcatに伝えるだけなんだけど 文字コードの設定など忘れがちなことも忘れずに。 server.xmlを編集 Tomcatのserver.xmlに「useBodyEncodingForURI="true"」を追記する <connector port="8080" redirectPort="8443" useBodyEncodingForURI="true" /> CharacterEncodingFilterの設定 WarファイルにはCharacterEncodi
Solr スキーマファイル(schema.xml)について
Solrではデータをインデックスに追加する際、データの構造を示す スキーマファイルが必要なようです。 今回、このblogの記事を検索するアプリケーションを作ってみようと思いますので、 保持したいデータは以下の3つに決めました。 ・記事のID(long) ・記事のタイトル(N-gram解析) ・記事の本文(形態素解析) それぞれ、xmlのタグ名称は ・id ・title ・body とします。 まだよくわかっていないのですが、スキーマを作らんことには 先に進めないので、現時点での理解を書いて見ます。 スキーマで定義する3つのこと スキーマにはざっくり ・データタイプの定義 ・フィールド名とデータタイプの関連付け ・その他のオプション という3つのことを定義すればよいようです。 データタイプの定義(types) typesタグでくくられる箇所にはデータの名前とタイプを定義します。 <field
tree-tips: 主にsolr・MySQLのtipsを掲載しています
新着記事 日時 タイトル 概要 Wed Dec 17 01:00:00 UTC 2014 1126クリック guava Ordering Orderingはjavaの最強のソートライブラリではないでしょうか。Collections.sort()と違い、NullPointerExceptionを起こさなくする事もできます。今回はOrderingを使ってDTOのリストを自由自在にソートしてみましょう。 Sun Jul 13 03:10:00 UTC 2014 6395クリック MySQL ファイル出力無しでリモートでmysqldumpしてローカルにリストアする リモートにあるMySQLをmysqldumpでローカルにリストアしたい事ってありますね。この時リモートでdumpのsqlファイルを出力してからローカルにscpしてそれを取り込むと、余計に時間を食います。今回はファイル出力無しに直接リモー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2012/11/26(#solrjp)第9回Solr勉強会
Apache Solr vs Elasticsearch - the Feature Smackdown!
第9回Solr勉強会を主催しました。#SolrJP | @johtani の日記
さくらVPS CentOS6.2でSolr4.0のチュートリアル
Solr 4 highlights - Mark Miller
Rails and the Apache SOLR Search Engine