はじめに Apache Solrを初めて使用したので備忘録です。Apache Solrを設定し、検索用のデータをMySQLと同期する方法を紹介します。 Apache Solrとは Apache Solr(ソーラ)とは、オープンソースの検索エンジンです。これで具体的に何をしたいかというと、外部のシステムから、 http://localhost/solr/select?q=ほげほげこんな感じでSolrへクエリを投げて、その検索結果外部システムが受け取って使うということを実現したいのです。 環境 Apache Solr 3.6.2 準備 必要なファイルのダウンロード Apache Solr本体 Apache Solrの本体を公式サイトからダウンロードして解凍します。今回は 3.6.2 を使用します。 Apache Lucene - Apache Solr $ wget http://ftp.kd
Solr4を動かしてみるシリーズの4回目です。 今回は、SolrにRDBのデータをくわせてみます。 solrのチュートリアルにはRESTインターフェイスからインデックスするデータを登録するやり方が書いてありますが、インデックスしたいデータの多くはRDBやNoSQL等のストレージに格納されていることが多いと思います。 いっこいっこPOSTなんてやってられません。 で、RDBのデータを読んでインデックスを作成することにします。 このチュートリアルではRDBとしてMySQLを使用します。 4.1. JDBCドライバを設置する solrはjava製のプロダクトなので、MySQLに接続するためにJDBCドライバを使います。 MySQLのサイトからJDBCドライバをダウンロードします。 MySQL Connector/J 解凍してjarをコアディレクトリのlib内に置きます。 tar zxvf mys
Apache SolrにWikipediaデータをインポートする手順.md Wikipediaデータダウンロード先 http://dumps.wikimedia.org/jawiki/latest/ ダウンロード&解凍 # wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles-multistream.xml.bz2 # bunzip2 jawiki-lasest-pages-articles.xml.bz2 コレクションディレクトリ作成 # cd /usr/local/solr/{プロジェクト名}/solr この中の「collection1」ディレクトリがコレクションの本体になる これを任意の名前に変更する 今回はWikipediaのarticleのため、「article」コレクションとする #
TOC TOC この記事について 予備知識 Apache Solr とは Lucene とは スキーマを作ってみよう フィールドタイプについて フィールドについて テキストフィールドの定義 ダイナミックフィールド ユニークキーフィールド コピーフィールド core admin で core を作成 サンプルデータを入れてみよう DIH(DataImportHandler) について solr config に記述する mysql の connector をダウンロードして設置 mysql の設定, db-data-config.xml の設定など deltaQuery について deltaQuery と parentDeltaQuery の関係 (2014/5/12追記) deletedPkQuery について (2014/5/12追記) Timezone の扱い DIH の直前で Jav
ボクは Solr にデータを入れるときは、一度 MySQLのデータベース上で ドキュメントデータを成形してから DataImportHandler を使って Solr にデータを移すというやり方をしています。 DataImportHandler というのは Solr に標準で付いているツールで、データベース以外にも XML やファイル等から データを入れるときに使える便利なツールです。 通常ドキュメントデータは複数の処理の結果を集約して作ることが多いので、フィールド毎のデータのUPDATEがしやすいRDBはその辺便利です。いろんなツールもそろっているし。 いつもの開発パターンはこんな感じです。 「Object Browser ER」というツールを使ってER図を書く。 そこからフォーワードエンジニアリングでDDLを出す。 DDLを使ってMySQLにデータベースとテーブルを作成 各種処理によっ
Data Import Request Handler Solr1.3 Most applications store data in relational databases or XML files and searching over such data is a common use-case. The DataImportHandler is a Solr contrib that provides a configuration driven way to import this data into Solr in both "full builds" and using incremental delta imports. Also see the DataImportHandlerFaq page. For simple usecases visit the DIHQuic
はじめに solrのインストールについては以前書きました。 Apache Solrのインストール - 人生の恥は書き捨て 今回は、mysqlのデータをデータインポートハンドラを使ってsolrに取り込みます。 環境 solr 4.9.0 mysql 5.6.19 Apache Solrをデータインポートハンドラでmysqlと同期 ライブラリのインストール solrはjavaで動いているので、 mysqlサーバーにアクセスするためにmysql-connector-javaを入れます。 cd /usr/local/src wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz/from/http://cdn.mysql.com/ tar -zxvf index.html mv m
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く