Solrメモ書き2 - K52.NIKKI ver3.0
Solrばりばり使ってます。大変便利です。 でもやっぱり日本語情報が少ない。というわけで実戦投入までに調べたことを公開メモ。バージョンは3.x系です。 前のメモはこれ。 Too many open filesエラーが出る このエラー出まくった。 ファイルを大量に開くようなので、ファイルディスクリプタ（システムが開けるファイル数）の上限を65536とかにしておく。 普通は /etc/security/limits.conf あたりで指定するみたいだけど、サービスとして起動させておくプログラムに対しては有効にならないっぽい。 詳しくは下記記事参照。 ■ファイルディスクリプタ数の上限変更とlimits.confの罠 http://yumewaza.yumemi.co.jp/2010/07/limitsconf.html というわけで、/etc/security/limits.conf は使わず、
Anuenueで検索クラスタを作る - mixi engineer blog
研究開発グループの takahi-i です. 前回 Solr を利用した検索パッケージ Anuenue を紹介させていただきました. 今回は Anuenue を利用して目的に応じた検索クラスタを構成する方法について紹介させていただきます. Anuenue (Solr) インスタンスは単体でもある程度高速に動作しますが, 大規模データ, 高い QPS に耐えるには複数のインスタンスからなる検索クラスタを構築する必要があります. Anuenue を利用してクラスタを構築するには Anuenue が提供する設定ファイルを目的にあわせて編集する必要があります. Anuenue には重要な設定ファイルが三つ存在します. これらの設定ファイルは Anuenue のインストールディレクトリ (ANUENUE_HOME) 直下の conf ディレクトリに存在します. 以下 Anuenue の設定ファイルの
Emerge Technology: Solr始めました その2
前回からの続きになります。今回はexampleディレクトリのsolr/conf/schema.xmlを見ていきます。schema.xmlについてのマニュアルはこれ。 schema.xmlは名前の通りインデックスファイルのスキーマを定義しています。これは、schema要素の直下にtypes要素とfields要素があります。types要素は、フィールドが取りうる型fieldTypeで定義します。一番最初の要素を見るのが分かりやすいと思います。 <fieldtype class="solr.StrField" name="string" omitnorms="true" sortmissinglast="true"> ここでは、stringと言う型を定義しています。それに対応するclassがsolr.StrFieldになっています。classの値はjavaのクラスファイルです。solrはsolr
Emerge Technology: Solr始めました その1
生まれ変わった「Days of Liris」。プログラミングのこと、Pythonのこと、気になったソフトウェアのこと、身の回りのこと、いろんなこと。など 最近、Solrで遊んでいます。Solrと言うのは、Luceneをベースに全文検索機能や分散処理、フェイルオーバーとなどの機能を提供してくれるはずです。Luceneで検索システムを作り込んでいくと、ある規模に達するとSolrが提供してくれているような機能が必要になってきます。それらを自分たちで作り込んでもいいのですが、それは単にSolrの再発明に他なりません。と言うことで、Solrの検討に入りました。 何はともあれ、第一印象としては、「わかんね〜」。Solrのトップページはそれなりすごいことを書いていますが、体系立てたドキュメントがありません。すべてを網羅されているようにも見えません。日本語のドキュメントがないのは別にどうでもいいのですが、
全文検索サーバ: これからSolrを始める人のためのApache Solr概要と便利な情報リスト集
はじめまして。 プロダクト&サービス事業部 リーダーの久保です。 今日は、当社で利用しているOSSの全文検索アプリケーションであるApache Solrについてご紹介したいと思います。 GoogleでSolrを検索しても、日本語圏のコンテンツはまだまだ少ないようです。 当社がSolrを使い始めた昨年は現在よりもさらに少なく、結構苦労しました。 今回はやや雑多な内容となりますが、新しくSolrを使う際に必要と考えられる情報をまとめてみました。 本エントリーでは、Solr1.3を対象としています。 Solr1.3が現在の安定版で、Solr1.4-devが開発版となります。 目次 Solrとは 機能一覧 実績/事例 Solrを使ったシステムの開発方法 おすすめする方 データ量/性能とハードウェア マルチコア構成 様々な検索 スケールアウト 検索と更新 Solrを始めるための情報リスト 全
Fessで作るApache Solrベースの全文検索サーバー ～ 導入編
はじめに ドキュメントは日々増えて続けています。ドキュメントの数が多くなるほど、目的の情報は見つけにくくなるため、それらのドキュメントを効率よく管理する方法が必要です。その解決策の一つとして、複数のドキュメント（ファイル）をまたいで検索することができる「全文検索サーバー」の導入が挙げられます。 Fessは簡単に導入できる、Javaベースのオープンソース全文検索サーバーです。Fessの検索エンジン部分にはApache Solrを利用しています。Solrは、2億ドキュメントもインデックス可能と言われる非常に高機能な検索エンジンです。一方で、Apache Solrで検索システムを構築しようとする場合、クローラ部分などを自分で実装する必要性があります。Fessではクローラ部分にSeasar Projectから提供されるS2Robotを利用して、ウェブやファイルシステム上の様々な種類のドキュメントを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
