Solrのキャッシュについて調査したことまとめ - YOMON8.NET
モニタリング方法 キャッシュの実装の種類 LRUCache と FastLRUCache LFUCache LRUとLFUのアルゴリズムの違い キャッシュの種類 種類 設定項目 FastLRUCacheとLFUCacheのキャッシュサイズ制御の動き filterCache useFilterForSortedQuery queryResultCache queryResultMaxDocsCached documentCache fieldValueCache その他・注意点 参考 URL 関連ソースコード 参考書籍 モニタリング方法 WEBブラウザから確認したい場合 http://<solr_host>:<solr_port>/solr/#/<Core or Collection>/plugins?type=cache jsonやxml等で取得したい場合 http://<solr_hos
形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報サイトで「東京」と検索した時にDBの中には数千件のデータがあるのに検索結果数がわずか数件しかないような状態です。 欲しくな
Solrを用いて検索のサジェスターを作りました - ZOZO TECH BLOG
こんにちは、VASILYバックエンドエンジニアの塩崎です。 今回はApache Solr(以下、Solr)で商品検索のサジェスターを作ったので、それを紹介します。 サジェスターを作るにあたり、どのようにスキーマやサーチコンポーネントを定義すれば良いのかを説明します。 なお、この記事はsolr 4.10.4を対象にした記事です。 それ以外のバージョンでは設定項目が変わってくる場合があります。 サジェスターとは サジェスターとは、ユーザーが検索用のフォームに単語を入力している途中に、その入力途中の単語を補完する機能です。 例えば、Google検索でサジェスターについて調べようとした時に、「さじぇ」と入力した時点で以下のように「さじぇ」に続く単語が候補として現れます。 このような機能を実装することによって、ユーザーがテキストを入力する手間が省けたり、入力間違いをした単語で検索をしてしまうことを防
Apache Solr
01_abstract.md Abstract Reference 公式ドキュメント Apache Solr Wiki http://wiki.apache.org/solr/ Apache Solr とは 検索エンジンの常識をApache Solrで身につける http://www.atmarkit.co.jp/fjava/rensai4/bigdata_java01/01.html Lucene と Solr のスケーラビリティー http://www.basistech.jp/lucene/lucene-solr-scalability/ Solr 大御所 @johtani の日記 http://johtani.jugem.jp/?cid=2 How To (Version 3+) Solr Tutorial http://www.basistech.jp/lucene/solr-t
今更 Solr 入門 - vimtaku blog
TOC TOC この記事について 予備知識 Apache Solr とは Lucene とは スキーマを作ってみよう フィールドタイプについて フィールドについて テキストフィールドの定義 ダイナミックフィールド ユニークキーフィールド コピーフィールド core admin で core を作成 サンプルデータを入れてみよう DIH(DataImportHandler) について solr config に記述する mysql の connector をダウンロードして設置 mysql の設定, db-data-config.xml の設定など deltaQuery について deltaQuery と parentDeltaQuery の関係 (2014/5/12追記) deletedPkQuery について (2014/5/12追記) Timezone の扱い DIH の直前で Jav
Apache Solr 5.xのレプリケーションを、Docker Composeを使って試す - CLOVER🍀
Docker Composeを試してみたので、これを使ってApache Solrのレプリケーションを構成してみたいと思います。 Index Replication | Apache Solr Reference Guide 6.6 Solrのレプリケーションは、マスターとスレーブがあって、それぞれの設定をsolrconfig.xmlにすればよいみたいです。 参考） https://cwiki.apache.org/confluence/display/solr/Making+and+Restoring+Backups+of+SolrCores tree-tips: solrのReplicationHandlerで簡単レプリケーション！ | Apache Solr moco(beta)'s backup: Solrのレプリケーション機能を試す (1) 第5回 Solr4でレプリケーションを構
Apache Solr で全文検索
連載一覧Blog Series Tabulator tips naka2020.07.29 更新 Vimのすゝめ改 v2021.07.21 更新 Vimとセキュリティ問題 v2019.02.01 更新 プログラマーの理想と現実 tom2015.07.08 更新 フレッツ光ネクスト用IPv6 PPPoEアダプターを作ってみる ko2012.12.05 更新 Gfarm takuya2013.10.17 更新 FreeBSD kernel SOCKET I/F 探検 asou2018.10.03 更新 机上デバッグ asou2013.03.06 更新 toza2013.09.04 更新 自炊本をスマートフォンで読むための convertガナス naka2015.07.23 更新 Vim 8.0 のすゝめ v2016.12.22 更新 スクリプトの勉強 tanino2015.12.16 更新 V
tree-tips: solrの日本語形態素解析の設定 | Apache Solr
関連記事 solrの同義語の設定 kuromojiの辞書のメンテナンス 形態素解析器の種類 初期設定の状態で検索し、問題点を探る。 まずはanalysis画面で、形態素解析のユーザ定義辞書未設定の状態で検索してましょう。 初期設定のschema.xmlに日本語形態素解析を設定した「text_ja」があるので、typeに「text_ja」を指定します。 「宇治抹茶ケーキ」で検索したのですが、この文章にヒットしました。この結果、どう思いますか？ ユーザ視点では「宇治抹茶ケーキ」を探しているのであって、分割された単語を含むページが見たい訳ではないのです。 この状態は検索の精度が低いと言えると思います。 よほど困っているユーザでない限り、必要な情報を頑張って探してくれないので、コンバージョンも下がり、売上も比例して下がるでしょう。 ユーザ定義辞書を設定する。 kuromojiの形態素解析辞書は、j
tree-tips: solrのReplicationHandlerで簡単レプリケーション！ | Apache Solr
solrのレプリケーション レプリケーションとは、複数のサーバでデータを同期することを言います。 solrのレプリケーションには2通りの方法があります。 solr1.3までのバージョンではssh + rsyncによるレプリケーションが行えます。 solr1.4以降ではReplicationHandlerでhttp通信によるレプリケーションが可能になりました。 ReplicationHandlerはhttp通信なので、ssh+rsync形式と違ってdaemonの起動も不要でportを開ける必要もありません。 solr1.4以降ではReplicationHandlerを使う事をおすすめします。 なお、ReplicationHandlerを行うにはcommons-httpClientが必要なので、jarを追加しましょう。 レプリケーションの設定をする レプリケーションの設定はsolrconfig
再・Solr のパフォーマンスチューニング - にょきにょきブログ
三年ほど前、Solr のパフォーマンスチューニングの記事を書いた。 aoking.hatenablog.jp これは古くなっており、現在の Solr では通用しない部分が多い。 改めて、現在の Solr のパフォーマンスチューニングに対する知見をここに記す。 はじめに 僕は日々 Solr のお世話をせっせとしており、今では扱っているインデクスのサイズが数テラバイト程度になっている。性能問題にぶつかることも何度もあり、そのたびに Solr のパラメーターのチューニングを行ってきており、時には自社向けのパッチを当てて高速化したり省メモリ化することもあった。僕の知見はきっと Solr ユーザーの皆様に役立つものでしょう。 さて、Solr のチューニングをしたい人は下記の公式 Wiki を穴が空くほど読むべし。 SolrPerformanceProblems - Solr Wiki 結論から言えば
Lucene Index 考察(2) - Mingchun’s Blog
概要 前回はIndexの構成、関連file種別及びその内容を見てみました。 今日は、Solrの様々なコマンド実行時、Index(のsegment)が実際どうように変化するかを見てみましょう。 Solrコマンド 今日検証するのはadd,update,atomic updates,delete,rollback,softcommit,optimizeなどのコマンドです。 検証前準備 検証のため、solrconfig.xmlから自動コミット設定(autoCommit,autoSoftCommit)をコメントアウト(無効に)しています。 Solr各種コマンドのリクエスト発行には、cURL(Client for URLs)のコマンドラインツールを使用します。 Mac OS X環境で検証していますので、他のOSでは適宜コマンドを変えて頂きたく。 検証開始 add command まず、1documen
CentOS7にSolr5.0を入れる手順 - サナギわさわさ.json
ユリ熊嵐面白いですよね。 CentOS7にSolr5.0を入れたので、その時の手順を残しておきます。 まず注意点として、Solr5.0ではJavaは1.7u55以上でないと正常に動きません。更にsolr.xmlの形式が変わっており、Solr4.3以前のものでは動かなくなっていることにも注意してください。 また、5.0ではSolrはスタンドアロンなサーバーアプリケーションとして動作します。今まで通りwar形式で出力してJettyやTomcat上で動かすことも一応できるようですが、推奨はされていません。 サービスインストールから起動確認まで Solr5.0ではinstall_solr_service.shがサービスインストールをやってくれるので、非常に簡単です。 yum install java-1.7.0-openjdk* java -version ※u55以上になっていることを確認 wg
Apache Solr 5.x／crawler4j／Apache Tikaを使って、HTMLとPDFをクローリングしてインデックスを作る - CLOVER🍀
これまでに、Apache Solrとcrawler4jでHTMLをクローリングしてインデックスするのと、Apache Tikaを使ってPDFを読んでみるエントリを書いてみました。 Apache Solr 5.x＋crawler4jで、Webサイトをクロールしてインデックス化する - CLOVER Apache TikaでPDFを読む - CLOVER 今度は、これらを使ってHTMLとPDFをクローリングしてSolrのインデックスを作ってみたいと思います。 やり方 全体の流れは、以下のようにします。 VMwareのドキュメントサイトの一部（http://info.vmware.com/content/apac_jp_co_techresources）をクローリング HTMLとPDFを対象にする インデックス作成は、いきなりSolrjでドキュメントを追加するのではなく、いったんJSONをファイ
Solr on Yarn
One of the most important evolutions in the big data landscape is the emergence of best-of-breed distributed computing frameworks. Gone are the days where every big data problem looks like a nail for the MapReduce hammer. Have an iterative machine learning job? Use Spark. Need to perform deep analytics on billions of rows? MapReduce. Need ad-hoc query capabilities? Solr is best. Need to process a
クックパッドの検索の裏側 - クックパッド開発者ブログ
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.yoslab.com/entry/2016/12/22/002731
shinodogg.com
pixiv サイバーエージェント共同勉強会 solr導入記
Solr @ CROSS2015 C4
第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive
