はじめに Apache Solrを初めて使用したので備忘録です。Apache Solrを設定し、検索用のデータをMySQLと同期する方法を紹介します。 Apache Solrとは Apache Solr(ソーラ)とは、オープンソースの検索エンジンです。これで具体的に何をしたいかというと、外部のシステムから、 http://localhost/solr/select?q=ほげほげこんな感じでSolrへクエリを投げて、その検索結果外部システムが受け取って使うということを実現したいのです。 環境 Apache Solr 3.6.2 準備 必要なファイルのダウンロード Apache Solr本体 Apache Solrの本体を公式サイトからダウンロードして解凍します。今回は 3.6.2 を使用します。 Apache Lucene - Apache Solr $ wget http://ftp.kd
Solr4を動かしてみるシリーズの4回目です。 今回は、SolrにRDBのデータをくわせてみます。 solrのチュートリアルにはRESTインターフェイスからインデックスするデータを登録するやり方が書いてありますが、インデックスしたいデータの多くはRDBやNoSQL等のストレージに格納されていることが多いと思います。 いっこいっこPOSTなんてやってられません。 で、RDBのデータを読んでインデックスを作成することにします。 このチュートリアルではRDBとしてMySQLを使用します。 4.1. JDBCドライバを設置する solrはjava製のプロダクトなので、MySQLに接続するためにJDBCドライバを使います。 MySQLのサイトからJDBCドライバをダウンロードします。 MySQL Connector/J 解凍してjarをコアディレクトリのlib内に置きます。 tar zxvf mys
Apache SolrにWikipediaデータをインポートする手順.md Wikipediaデータダウンロード先 http://dumps.wikimedia.org/jawiki/latest/ ダウンロード&解凍 # wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles-multistream.xml.bz2 # bunzip2 jawiki-lasest-pages-articles.xml.bz2 コレクションディレクトリ作成 # cd /usr/local/solr/{プロジェクト名}/solr この中の「collection1」ディレクトリがコレクションの本体になる これを任意の名前に変更する 今回はWikipediaのarticleのため、「article」コレクションとする #
TOC TOC この記事について 予備知識 Apache Solr とは Lucene とは スキーマを作ってみよう フィールドタイプについて フィールドについて テキストフィールドの定義 ダイナミックフィールド ユニークキーフィールド コピーフィールド core admin で core を作成 サンプルデータを入れてみよう DIH(DataImportHandler) について solr config に記述する mysql の connector をダウンロードして設置 mysql の設定, db-data-config.xml の設定など deltaQuery について deltaQuery と parentDeltaQuery の関係 (2014/5/12追記) deletedPkQuery について (2014/5/12追記) Timezone の扱い DIH の直前で Jav
ボクは Solr にデータを入れるときは、一度 MySQLのデータベース上で ドキュメントデータを成形してから DataImportHandler を使って Solr にデータを移すというやり方をしています。 DataImportHandler というのは Solr に標準で付いているツールで、データベース以外にも XML やファイル等から データを入れるときに使える便利なツールです。 通常ドキュメントデータは複数の処理の結果を集約して作ることが多いので、フィールド毎のデータのUPDATEがしやすいRDBはその辺便利です。いろんなツールもそろっているし。 いつもの開発パターンはこんな感じです。 「Object Browser ER」というツールを使ってER図を書く。 そこからフォーワードエンジニアリングでDDLを出す。 DDLを使ってMySQLにデータベースとテーブルを作成 各種処理によっ
Data Import Request Handler Solr1.3 Most applications store data in relational databases or XML files and searching over such data is a common use-case. The DataImportHandler is a Solr contrib that provides a configuration driven way to import this data into Solr in both "full builds" and using incremental delta imports. Also see the DataImportHandlerFaq page. For simple usecases visit the DIHQuic
はじめに solrのインストールについては以前書きました。 Apache Solrのインストール - 人生の恥は書き捨て 今回は、mysqlのデータをデータインポートハンドラを使ってsolrに取り込みます。 環境 solr 4.9.0 mysql 5.6.19 Apache Solrをデータインポートハンドラでmysqlと同期 ライブラリのインストール solrはjavaで動いているので、 mysqlサーバーにアクセスするためにmysql-connector-javaを入れます。 cd /usr/local/src wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz/from/http://cdn.mysql.com/ tar -zxvf index.html mv m
This is the Official Solr FAQ. There is also a SolrTerminology document that may be useful for understanding what some documentation means; as well as a Relevancy FAQ for addressing questions specific to how Relevancy Scoring works in Solr. General What is Solr? Solr is a stand alone enterprise search server which applications communicate with using XML and HTTP to index documents, or execute sear
{{{#!wiki red/solid This page is outdated for Jetty 8.x and newer, and you should read Jetty documentation for configuring the application server and setting properties required by Solr. }}} Solr with Jetty Solr runs fine with Jetty, as illustrated by the solr/example application. See the instructions in the generic Solr installation page for basic setup info. Solr 1.4.1 uses Jetty 6.1.3, Solr 3.5
atmarkit.itmedia.co.jp PowerToysで変更できるとの記事があるが試してみてできなかったので インストール不要でキー配置の変更が可能な「Change Key」を使った ついでに「カタカナひらがな」キーもctrlに変更した 満足 git config --global user.email "hoge@gmail.com" git config --global user.name "hoge" cd ~/work/Git git init git status git add HelloWorld.py <- ファイルを指定して監視 git add . <- カレントディレクトリ以下全てのファイルを監視 git commit -m "first commit" git log vi .gitignore <- 追跡しないファイルを書いておく /tmp/ git a
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
ManifoldCFにふくまれる商用ソフトウェア用のコネクタをビルドするには、サードパーティのライブラリ、パッケージ、そのソフトウェアが必要な場合があります。開発者はビルドする時にこれらサードパーティのソフトウェアを入手する必要はありますが、条件付きでコンパイルすることができるため、コネクタ自体のソースコードはApacheとして配布することができます。できる限りすべてをApacheライセンスに準拠するようにしたいと思っていますが、現実的には状況はすぐには変わりません。 サードパーティのソフトウェアを含めてビルドする手順はWikiページに掲載しています。 2023年11月1日 - ManifoldCF 2.26を公開しました! 開発者コミュニティは2.25リリースを承認しました 2023年06月1日 - ManifoldCF 2.25を公開しました! 開発者コミュニティは2.25リリースを承
メモ。必要最低限のパッケージと作業のみを記述。 まだほとんど使用していないので穴があるかもしれない。 ソフトウェア構成: CentOS 6 OpenJDK 1.7 (CentOS RPM パッケージ) Tomcat 6 (CentOS RPM パッケージ) Apache Solr 4.8.1 (Apache Solr サイトから solr-<バージョン>.tgz を入手) ファイル構成: /etc/tomcat6 /var/lib/tomcat6/webapps/solr (Solr サーブレット) /var/solr (Solr ホーム。$SOLR_HOME) /var/solr/dovecot-fts (Solr コア。Dovecot での利用を想定。名前は任意) そのほか: Tomcat にロール solr, solr-dovecot、 ユーザー admin, dovecot を作成
Proof Summit 2015 <http: /> で発表した、SAT/SMTソルバの仕組みです。 Proofということで、論理学的側面からの面白さを出来るだけ紹介しています。 This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusse
全文検索システムの比較 - Elasticsearch vs Solr vs Amazon CloudSearch February 10, 2014 at 01:05 AM | categories: solr, aws, elasticsearch, web | 候補の選定方法 候補を選定するにあたって、以下の特徴をもっていることを前提とした。 LuceneやGroongaを使えば何でもできるが、ここでは対象としない。 ウェブベースのインターフェースを持つ インデックスの更新はほぼリアルタイムに反映される スケールアウトが容易 Solr https://lucene.apache.org/solr/ Luceneをバックエンドにした全文検索システム。バージョン4になってから大幅に機能が増強された。 長所 実績が十分ある 機能豊富 短所 クラスタを構築して運用するには手間がかかりそう S
Verified details These details have been verified by PyPI Maintainers acdha daniellindsley jacobian jkocherhans Unverified details These details have not been verified by PyPI Project links Homepage GitHub Statistics pysolr is a lightweight Python client for Apache Solr. It provides an interface that queries the server and returns results based on the query. Status Changelog Features Basic operati
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く