Solr勉強会行ってきた。 - public static void main
21日にECナビさんで開催されたSolr（そーら）勉強会に参加してきました。 http://atnd.org/events/937 Luceneを1、2年前ぐらいに触っていて、そのときSolrも調査したことがあったので、その頃からどのように変わったのか楽しみにしていきました。 以下発表内容のまとめです。 Solrとは？（ロンウィット関口さん） 全文検索ライブラリのLucene JavaのAPIを使うので、開発期間の短くなっている昨今では導入の敷居が高い SolrはLuceneを使った検索サーバ実装 HTTPベースのAPIが提供されている→言語を選ばない 検索アプリが非常に楽に作成可能→時代に合っている Solrとのデータやりとり XMLで登録データを作成（CSVでも可）→HTTPでPOSTすると登録が完了 検索結果もXMLでGETする 検索アプリでは、XMLで返ってきた結果を加工してHTM
『セキュリティのためのApache Solrアクセス制限あれこれ』
Apache Solrをデフォルトのままで利用しようとすると、管理サイトへのアクセスや検索や情報の更新もどこからでもできたりします。 これは、セキュリティ的にまずいので、Solrへのアクセスを制御する方法をまとめてみます。 なお、環境はRedHat5.9にApache Solr4.2を利用した環境です。 Solrは付属のJettyで動かしているので、その他の環境で動かしている場合は設定が異なるかと思います。 管理サイトをつぶしてしまってかまわないのであれば、JettyがListenするIPアドレスを下記のようにローカルホストからのみに変更するのが手っ取り早い方法かもしれません。 <New class="org.eclipse.jetty.server.bio.SocketConnector"> <Set name="host"><SystemProperty name="jetty.hos
Apache Solr｜A Day In The Boy's Life
itboyさんのブログテーマ、「Apache Solr」の記事一覧ページです。
PHP から検索するときは使った方がいい Solr のオプション - Solr, Python, MacBook Air in Shinagawa Seaside
PHP から Solr の検索をするときは solrconfig.xml に下のオプションを追加すると検索結果を受け取った後の処理がとても楽になります。 # <queryResponseWriter name="xslt" ... の下あたりに追記する <!-- for PHP --> <queryResponseWriter name="php" class="org.apache.solr.request.PHPResponseWrit er"/> <queryResponseWriter name="phps" class="org.apache.solr.request.PHPSerializedR esponseWriter"/>追記したら Tomcat等のサーブレットコンテナを再起動します。 こんな感じで検索できるようになります。 PHP の場合 $code = file_ge
Pattern ReplaceCharFilterFactoryの使い方 - エメラルドアオキロック
今回はPatternReplaceCharFilterFactoryの使い方を紹介します。このクラスは前回のMappingCharFilterFactoryと同様に、SolrのCharFilterの一つで、tokenizerが解析する前の文字列に対して処理を行います。名前が示す通り、正規表現を用いたパターンマッチを用いて置換を行うコンポーネントです。正規表現を利用できるので、柔軟に置換ルールを設定できます。しかし、詳細は後述しますが、メモリ効率やパフォーマンスがよくない事もあるため、パターンマッチでしか実現できない事以外では積極的に利用するのは控えた方がいいでしょう。 利用シーンとしては次のようなものが考えられます。 特定のパターンに一致する文字列を除外したい ・HTML or XMLのコメント要素を除去： <!--.+-->→空文字 例：abcd<!-- コメント -->efg→abcd
『Apache Solrにおける特殊文字の意味と扱い方』
Apache Solrにはクエリ内に使う際に注意が必要な特殊文字が幾つかあります。 Apache Lucene - Query Parser Syntax 上記マニュアルによれば、下記の文字列が特殊文字に該当するようです。 + - && || ! ( ) { } [ ] ^ " ~ * ? : \ 管理ツール上のQuery機能を使って特殊文字をそのまま入れて検索してみてもSolrがエラーを返してきます。 org.apache.solr.search.SyntaxError: Cannot parse '&&': Encountered " <AND> "&& "" at line 1, column 0. ということで、この辺の特殊文字の意味とこれらをクエリに使いたい場合の回避方法のまとめです。 ・ 丸括弧() Solrで丸括弧（小括弧）の文字はグルーピングを意味します。 例えば、「Apa
Solrの困惑み方 - スワローテイル
・Solrで悩んだんだよというお話 初めてSolrというものを触り、データの作成からUI作成まで一通り行ったので、そのうえで困ったとか、悩んでうーんうーん言ってたことを書き連ねてみようと思います。 １：Solrドキュメントの少なさ なんか少ないんですよね。ちゃんと言えば、「日本語ドキュメント」が少ない。海外ではJIRAチケットだったり掲示板だったりで悩み書いてたり情報があったりするんですけど。 技術評論社のApache Solr入門を片手にうーんうーん言ってたりして。でも結局最後には海外で同じようなミスをしてる人の悩みを見てやっとわかったーってなった時には結構な時間割いてたり。 「日本でのドキュメントが少ないのはなんでだろう」って考えたんですけど、実は日本語ドキュメントもそこそこあるんだけど、問題はこう、初心者が悩むような悩みの対処が書いてないからではと思ったりしました。プログラムもあんま
Apache Solr でデータインポートハンドラを使ってMySQLと同期する。 - 波打際のブログさん
はじめに Apache Solrを初めて使用したので備忘録です。Apache Solrを設定し、検索用のデータをMySQLと同期する方法を紹介します。 Apache Solrとは Apache Solr(ソーラ)とは、オープンソースの検索エンジンです。これで具体的に何をしたいかというと、外部のシステムから、 http://localhost/solr/select?q=ほげほげこんな感じでSolrへクエリを投げて、その検索結果外部システムが受け取って使うということを実現したいのです。 環境 Apache Solr 3.6.2 準備 必要なファイルのダウンロード Apache Solr本体 Apache Solrの本体を公式サイトからダウンロードして解凍します。今回は 3.6.2 を使用します。 Apache Lucene - Apache Solr $ wget http://ftp.kd
Rosette for Solr - Solr Name Search - Rosette Text Analytics
Smart Indexing for Brilliant Search Enhancing Solr with AI-Powered Text Analytics Apache Solr is at the heart of many innovative search-based applications. With Rosette’s advanced natural language processing (NLP) technology, you can power your existing Solr applications up with artificial intelligence. Request a Demo ● Document Tagging ● Multi-Faceted index enrichment for data discovery Rosette e
新しいsolr.xmlとCore探索ロジック
Lucene/Solr 4.3.1のRCのVoteが始まっていますが、そのMLできになったコトがあり、ちょっと調べたので メモを残しておきます。 マルチコアの設定ファイルであるsolr.xmlの記述方法と、コアの探索ロジックが4.4（実装的には4.3から入っている）から変更されるようです。4.x系の最新版である、branch_4xのexampleディレクトリにあるsolr.xmlも新しい記述に変更されていました。 参考URL 新しいCore探索（4.4以降） 新しいsolr.xml（4.4以降） 4.3までのsolr.xml ちなみに、最後のold styleと呼ばれる4.3までの記述方法はつぎの5.0ではDeprecatedになるようです。（5.0がいつ出るのかはわからないですが。） Core探索ロジック 4.4から、$SOLR_HOMEディレクトリ以下の探索ロジックは次のようになるよう
全文検索エンジンApache Solrをとりあえず使う方法 - hidmatのメモ
2014-02-19 全文検索エンジンApache Solrをとりあえず使う方法 Apache Solrとは 全文検索データベース・サーバ。 このサイトで詳しく説明されています。 http://www.atmarkit.co.jp/ait/articles/1111/18/news148.html 利用シーン ①個人サイトや企業サイトのサイト内検索 ②企業内データ検索(エンタープライズサーチ) ③テキストデータ(Wikipedia記事など)の検索 これらの機能を実現するためにMySQLやSQLiteを利用すると ・あいまい検索(LIKE文)が遅い ・文章に対しインデックスを張っても意味がない という問題があるので、全文検索エンジンを利用します。 Apache Solrは文章内の単語をn-gramや形態素解析によって区切り、 それらに対してインデックスを張り高速な検索を実現します。 用語に
『Apache Solrのschema.xmlを読み解く』
前回の「Apache Solrのデモ環境を作ってみる 」にて動く環境が作れたので、今回はもう少し突っ込んだApache Solrの設定ファイル周りについて書いていきたいと思います。 Apache Solrの環境設定で触るファイルは大きく2つあります。 1つは、Solrの動作自体を定義するsolrconfig.xmlファイル。 そしてもう1つは、Solrに取り込むデータのスキーマ情報を定義するschema.xmlファイルです。 何れも、 /path/to/solr/example/solr/collection1/conf に、存在します。 先のエントリでも書きましたがcollection1はSolrのコアディレクトリとなるため、コアを追加したらそのコアごとに設定ファイルが存在します。 順に説明したいところではありますが、solrconfig.xmlファイル（Solrの管理メニューのConf
全文検索エンジン Solr のパフォーマンスチューニングについて - にょきにょきブログ
この記事は古くなりました。新しい知見は下記を参照。aoking.hatenablog.jp 概要 全文検索エンジン Solr を使用していて、パフォーマンスチューニングに四苦八苦した話。 ここでは、検索時ではなくドキュメントの追加時についてのチューニングについて記してある。 更新自体は参照に比べて頻度が少ないが、参照はレプリケーションして負荷分散しやすい。 更新は整合性を保つために一台のマスターノードに対して行われるので更新はボトルネックになりやすいのだ。 定期的に IO 負荷が高くなる Solr を使っていると、一時的に猛烈に IO 負荷が高まる時がある。fsync になんと1分以上かかるような、猛烈な負荷だ。 これはインデクスのマージ時に起きる IO 負荷で、巨大なインデクス同士のマージだとその合計サイズ分の IO が発生することで IO 処理が専有されたままになっていた。 インデクス
tree-tips: solrトップ | Apache Solr
基礎 まずはsolrの事を知りましょう！ solrを使う前に知っておくべき事 solrの利用事例 形態素解析器の種類 solrの環境設定をしましょう！ solrのインストール solrの設計をしましょう！ solrのフィールド設計 インデックス生成・検索のサンプルコードを書きましょう！ solrjでインデックス生成・検索 solrjでランダムソートする solrの管理画面を使ってみましょう！ solr adminでデータ確認 solrの辞書機能を使ってみましょう！ solrの同義語の設定 solrの日本語形態素解析の設定 応用 solrで実用的なインデクサを実装しましょう！ solrjで独自のインデクサを実装する solrで実用的なサーチャーを実装して色々な検索をしましょう！ solrjでfacet field検索 solrjでfacet query検索 kuromojiで漢字からカタカナ
Solrの導入資料を公開します - Hatena Developer Blog
こんにちは、 id:yanbe です。 全文検索エンジンLucene上に構築されたSolrという検索ミドルウェアがあります。拡張性・カスタマイズ性に富み、既存のデータのインポート機能が豊富なのもあって、広く利用されています。 参考: Solr - Wikipedia 国内のウェブサービスでのSolrの採用事例を挙げるとNAVERやCookpad、アメーバなどがありますが、はてなでも以前より一部のサービスでSolrを採用しています。 Solrの公式ドキュメント(英語)はwiki形式で提供されており、網羅的な情報はこちらで手に入ります。また、Solrの基本的な使い方を学べるチュートリアルもありますが、「すでにある典型的なLAMP構成のウェブサービスにSolrによる検索機能を組み込む」までには、ここからさらに多くの情報を調べる必要があり、Solrの導入のハードルとなっていると感じました。 そこで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Securing Apache Solr in production
GitHub - hatena/solr-tutorial: Solrの導入資料です。LAMP構成に特化しています。