Solrのキャッシュについて調査したことまとめ - YOMON8.NET
モニタリング方法 キャッシュの実装の種類 LRUCache と FastLRUCache LFUCache LRUとLFUのアルゴリズムの違い キャッシュの種類 種類 設定項目 FastLRUCacheとLFUCacheのキャッシュサイズ制御の動き filterCache useFilterForSortedQuery queryResultCache queryResultMaxDocsCached documentCache fieldValueCache その他・注意点 参考 URL 関連ソースコード 参考書籍 モニタリング方法 WEBブラウザから確認したい場合 http://<solr_host>:<solr_port>/solr/#/<Core or Collection>/plugins?type=cache jsonやxml等で取得したい場合 http://<solr_hos
類義語検索と類義語ハイライト(Solr 6.4.1編) - 株式会社ロンウイット
溝口 泰史 著 はじめに GoogleやMicrosoft Bingなどで検索を行う場合、検索結果の中に自身が入力した検索ワードがわかるようにその部分を太字にしたり、背景色を変えるなどする工夫が見られます。これをハイライトと呼びます。 また、一般的な検索エンジンに求められる機能として、類義語検索というものがあります。これは、検索ワードとは異なるが類義語(あるいはシノニム)として定義されたワードを含むドキュメントを検索結果として返すことにより、検索結果の再現率を向上させること期待をしてのものです。 弊社が扱っているApache Solrにおいても、当然ハイライト機能を利用することができ、類義語検索を行うことができますが、これらの2つを組み合わせた場合にハイライトの位置がずれるという問題があることが知られていました。 Solr 6.4.0ではこの問題に対応する新機能が追加されました。 本稿では
Apache Solrを使った検索サジェスターの作り方まとめ - Qiita
概要 Apache Solr(以下、Solr)で商品検索のサジェスターを作ったので、それを紹介します。 サジェスターを作るにあたり、どのようにスキーマやサーチコンポーネントを定義すれば良いのかを説明します。 なお、この記事はsolr 4.10.4を対象にした記事です。 それ以外のバージョンでは設定項目が変わってくる場合があります。 サジェスターとは サジェスターとは、ユーザーが検索用のフォームに単語を入力している途中に、その入力途中の単語を補完する機能です。 例えば、Google検索でサジェスターについて調べようとした時に、「さじぇ」と入力した時点で以下のように「さじぇ」に続く単語が候補として現れます。 このような機能を実装することによって、ユーザーがテキストを入力する手間が省けたり、入力間違いをした単語で検索をしてしまうことを防げたりする効果があります。 日本語のサジェスターの難しいとこ
WikipediaのデータからElasticsearch用類義語辞書をつくる - Qiita
Elasticsearchには類義語によるクエリ拡張機能があります。これを適用すると まどマギ と検索したときに まどかマギカ と書かれた文書もヒットするようになります。 (LuceneやSolrにもありますがここではElasticsearchの話だけします) この類義語辞書は、人手で作ること (e.g., FRILの商品検索をnGramから形態素解析にした話 - mosowave) もできますが、今回はなるべく手間をかけたくないのでWikipediaのリダイレクトデータから自動で類義語辞書を作る方法を紹介します。 (自動といってもノイズも含まれてるので実用的に使うにはある程度人手でフィルタリングする必要があります。それでも一から人手で作るよりは手間が少ないと思います) (ElasticsearchではWordNetでの類義語検索に対応しているようですが、これを書いてる2015年12月時点
再・Solr のパフォーマンスチューニング - にょきにょきブログ
三年ほど前、Solr のパフォーマンスチューニングの記事を書いた。 aoking.hatenablog.jp これは古くなっており、現在の Solr では通用しない部分が多い。 改めて、現在の Solr のパフォーマンスチューニングに対する知見をここに記す。 はじめに 僕は日々 Solr のお世話をせっせとしており、今では扱っているインデクスのサイズが数テラバイト程度になっている。性能問題にぶつかることも何度もあり、そのたびに Solr のパラメーターのチューニングを行ってきており、時には自社向けのパッチを当てて高速化したり省メモリ化することもあった。僕の知見はきっと Solr ユーザーの皆様に役立つものでしょう。 さて、Solr のチューニングをしたい人は下記の公式 Wiki を穴が空くほど読むべし。 SolrPerformanceProblems - Solr Wiki 結論から言えば
Solr 5.1 Features
Solr 5.1 has been released! Here’s an overview of how to use some of the new features. Also see Solr download links and upcoming features of the next Solr release. New Facet Module The new facet module has a native JSON Facet API, first-class support for statistics and analytics via facet functions (aggregations), and supports unlimited nesting of facets within other facets via sub-facets. One can
第5回 Solr4でレプリケーションを構築する
Solr4を動かしてみるシリーズの5回目です。 今回はSolr4でmaster-slaveの単純レプリケーションを構築したいと思います。 レプリケーションの構成にはReplicationHandlerを使います。 coreのインスタンスディレクトリ下のconf内にあるsolrconfig.xmlを開くと、レプリケーション構成のテンプレートが記述してあり、この部分のコメントを外して必要な項目を設定すればレプリケーション完了なのです(｀_´)ゞ 非常にかんたんです。 レプリケーションを構築するにあたっては何はともあれ、MasterとSlaveの２サーバが必要です。 ここから先は、Master用のサーバとSlave用のサーバの２つがあると仮定して話をすすめます。 5.1. Masterの設定をおこなう まずはMaster側の設定から行いましょう。 Masterサーバのsolrconfig.xml
tree-tips: solrのReplicationHandlerで簡単レプリケーション！ | Apache Solr
solrのレプリケーション レプリケーションとは、複数のサーバでデータを同期することを言います。 solrのレプリケーションには2通りの方法があります。 solr1.3までのバージョンではssh + rsyncによるレプリケーションが行えます。 solr1.4以降ではReplicationHandlerでhttp通信によるレプリケーションが可能になりました。 ReplicationHandlerはhttp通信なので、ssh+rsync形式と違ってdaemonの起動も不要でportを開ける必要もありません。 solr1.4以降ではReplicationHandlerを使う事をおすすめします。 なお、ReplicationHandlerを行うにはcommons-httpClientが必要なので、jarを追加しましょう。 レプリケーションの設定をする レプリケーションの設定はsolrconfig
2つの文字列間の距離計算の抽象化（スペルチェック）（2.4） | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
スペルミス修正プログラムを作ろう
8. 編集距離 (Levenshtein 距離 ) 二つの文字列がどの程度異なっているかを示す数値 文字の挿入, 削除, 置換で一方を他方に変形するための最小の手順回数 伊藤直哉, 伊藤直也 -> 1 伊藤直, 伊藤直也 -> 1 佐藤直哉, 伊藤直也 -> 2 佐藤B作, 伊藤直也 -> 3 9. 編集距離の計算 動的計画法 sub distance { my ($s1, $s2) = validate_pos(@_, 1, 1); my $m = []; my @s1 = split //, $s1; my @s2 = split //, $s2; for (my $i = 0; $i <= @s1; $i++) { $m->[$i]->[0] = $i; } for (my $j = 0; $j <= @s2; $j++) { $m->[0]->[$j] = $j; } for (m
編集距離 (Levenshtein Distance) - naoyaのはてなダイアリー
昨日 最長共通部分列問題 (LCS) について触れました。ついでなので編集距離のアルゴリズムについても整理してみます。 編集距離 (レーベンシュタイン距離, Levenshtein Distance) は二つの文字列の類似度 (異なり具合) を定量化するための数値です。文字の挿入/削除/置換で一方を他方に変形するための最小手順回数を数えたものが編集距離です。 例えば 伊藤直哉と伊藤直也 … 編集距離 1 伊藤直と伊藤直也 … 編集距離 1 佐藤直哉と伊藤直也 … 編集距離 2 佐藤B作と伊藤直也 … 編集距離 3 という具合です。 編集距離はスペルミスを修正するプログラムや、近似文字列照合 (検索対象の文書から入力文字にある程度近い部分文字列を探し出す全文検索) などで利用されます。 編集距離算出は動的計画法 (Dynamic Programming, DP) で計算することができることが
Solrを使ったAuto Completeに挑戦 - Ari-Press
以前Solr4.0の記事を書いてからはや半年以上、いつの間にやらSolrが4.4になっていました。追いつけたもんじゃない。 Solr関係の調べ事をしているとSolr Wikiをよく見ることになるんですが、その中でsolr.EdgeNGramFilterFactoryがずっと気になっていたわけです。これを使えばいい感じのAuto Completeができるんじゃないか？というかそのために作られたようなFilterにしか見えない！という感じで。 そんなわけで、このsolr.EdgeNGramFilterFactoryを使って日本語対応のAuto Completeを実装してみました。 簡単な動作確認しかしていませんが、うまく動いているような・・・？どうでしょう。 以下は全てSolr4.4での実装メモです。 solr.EdgeNGramFilterFactoryについて まずこのsolr.EdgeN
Solrを使ったAuto Completeに挑戦 - Qiita
以前Solr4.0の記事を書いてからはや半年以上、いつの間にやらSolrが4.4になっていました。追いつけたもんじゃない。 Solr関係の調べ事をしているとSolr Wikiをよく見ることになるんですが、その中でsolr.EdgeNGramFilterFactoryがずっと気になっていたわけです。これを使えばいい感じのAuto Completeができるんじゃないか？というかそのために作られたようなFilterにしか見えない！という感じで。 そんなわけで、このsolr.EdgeNGramFilterFactoryを使って日本語対応のAuto Completeを実装してみました。 簡単な動作確認しかしていませんが、うまく動いているような・・・？どうでしょう。 以下は全てSolr4.4での実装メモです。 solr.EdgeNGramFilterFactoryについて まずこのsolr.EdgeN
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Software stack for the visualization and analysis around Apache Solr …
moco(beta)'s backup: 第17回Lucene/Solr勉強会メモ
Solr Facet Performance
Solr Sub-Facets and Statistics
What are Pivot Facets?
Blog - LINE ENGINEERING
IBM Developer
