Apache SolrCloudでクラスタ環境構築入門 (クラスタ構築〜分散インデシング〜フェールオーバーまで) - Qiita
はじめに Solr vs ElasticSearchな今日この頃ですが、SolrCloudでのレプリケーション環境構築を試してみました。 「solr -e cloud」で同一サーバー上にexampleのSolrCloud環境は簡単に構築できるのですが、具体的に何をやっているのかよくわからないので、複数サーバーで実際に使うであろう手順を踏んでの構築を試みてました。 先に感想としては、RDBMSでMaster-Slaveでのレプリケーション環境はよく構築していましたが、SolrCloudではZooKeeperを用いてのレプリケーション、フェールオーバー、ノーダーノード自動選出など中央集中管理が非常に魅力的だな感じました。それとドキュメントが充実していてわかりやすいのがいいですね。 今回、SolrCloudで構築したい全体像 今回は最小のクラスタ構成を構築してみるという趣旨で、シャード、ノード、
株式会社ロンウイット“Apache Solr 6.4”対応の検索エンジン新バージョンをリリース
株式会社ロンウイット(本社：東京都港区、代表取締役社長：関口 宏司)は、オープンソースの全文検索システム「Apache Solr(アパッチ ソーラー、以下 Solr)」の最新バージョン 6.4に対応し、独自の日本語処理プラグインや新開発のランキング最適化機能を追加した「Solr サブスクリプション・パッケージ 3.0」のリリースを発表いたします。 提供製品とサービス ■「Solr サブスクリプション・パッケージ 3.0」の主なメリット 1) 「Solr 6」対応 SQLの利用とデータセンターを跨いだレプリケーションなどが可能です。 2) 日本語処理プラグイン 日本語独特の表記ゆれに対応した検索、サジェスチョン、“もしかして”検索機能を提供します。 3) 新機能 入力された検索キーワードとそのインプレッションやユーザ行動のログを機械学習し、自律的・継続的にランキングの最適化を行います。 4)
Solr Tutorial
This document covers the basics of running Solr using an example schema, and some sample data. To follow along with this tutorial, you will need... Java 1.5 or greater. Some places you can get it are from Oracle, Open JDK, IBM, or Running java -version at the command line should indicate a version number starting with 1.5. Gnu's GCJ is not supported and does not work with Solr. A Solr release. Ple
Is PostgreSQL good enough?
A log of some thoughts about freelancing, about indie, about making things. On the web. It's a web log. A blog. tldr; you can do jobs, queues, real time change feeds, time series, object store, document store, full text search with PostgreSQL. How to, pros/cons, rough performance and complexity levels are all discussed. Many sources and relevant documentation is linked to. Your database is first.
形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - Qiita
この図からも検索ノイズを減らすことと検索漏れを減らすことがトレードオフの関係にあることがわかります。 しかし、これら2つを併用することによって、それぞれを単独で使用する場合に比べて、検索漏れの数を減らし、検索ノイズの数を実質的に減らすことが可能です。 併用するための具体的な手法は以下のようなものになります。 インデックス生成処理 ドキュメントに対してNgramによるインデックスを生成する 形態素解析によるインデックスも生成する 検索処理 Ngramと形態素解析によるインデックスに対して同時に検索を行う 形態素解析によるインデックスの結果が先頭になりやすいように重みを付けて検索結果をマージする 2つの検索結果をマージすることによって、検索漏れを減らします。 しかし、ただ単にマージしてしまうと、検索ノイズが増えてしまいます。 形態素解析の結果を先頭になりやすいようにマージすることが、この併用処
形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報サイトで「東京」と検索した時にDBの中には数千件のデータがあるのに検索結果数がわずか数件しかないような状態です。 欲しくな
tree-tips: solrを使う前に知っておくべき事 | Apache Solr
solrって何？ Apache solr solr wiki オープンソースのpure javaの全文検索エンジンです。 Apacheのトッププロジェクトであり、twitterやfacebook級のサイトでも使用されています。 solrにできる事は？ 超高速検索のエンジンを自分で作成可能（オレオレMySQLのようなものを作る事ができる）。 検索する項目を自分で定義可能（RDBのカラム）。 定義した項目に、順序を保持したままリスト形式で値を保存可能（カラムにjavaでいうところのListを保存できる）。 完全一致検索可能。 中間一致検索可能（フルスキャンで超低速になるので非推奨）。 前方一致検索可能。 超高速に件数を取得する、ファセット検索が可能。（select count(*)を100回同時に行なっても超高速） 超高速に同義語検索可能で、同義語の辞書を自分で定義可能。（or name =
Ruby + Sinatra +Line Messaging api +Herokuで位置情報からの飲食店検索 - Qiita
require "json" require 'rest-client' require 'sinatra' require 'bing-search' require 'faraday' require 'line/bot' require 'date' require 'net/https' require 'yaml' require 'cgi' require 'net/http' get '/' do 'test' end def client @client ||= Line::Bot::Client.new { |config| config.channel_secret = ENV["LINE_CHANNEL_SECRET"] config.channel_token = ENV["AS_TOKEN"] } end post '/line/callback' do body
Slackで全チャンネルの全発言を取得する方法 - Qiita
はじめに 2016年12月現在、SlackAPIでは公式に全チャンネルの全発言をリアルタイムに取得する方法が用意されていません。 つまりこれはSlackが我々に叩きつけた挑戦状ではないでしょうか？（？） 全能感を味わうツールを作りたかった私は試行錯誤の上、検索APIを利用する方法で全チャンネルの全発言を取得することができたので、今回作ったツールを含め紹介します。 slackの検索APIについて https://api.slack.com/methods/search.all を使用します。 実は中身は… この検索APIのバックエンド実はsolrなんです！様々なクエリを投げていろいろ実験してるときに白状しました！ このリクエストは - 昨日以降の発言 - タイムスタンプでソート とだけ指定してSlackの検索APIを殴っています。 なんとこれだけで、10秒くらいの遅延はあるもののほぼリアルタ
Solr 6でneologdが組み込まれたkuromojiを使う方法 - ZOZO TECH BLOG
Solr 6でneologdが組み込まれたkuromojiを使う方法 こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは商品情報の全文検索を行うためのバックエンドに、Apache Solr(以下、Solr)を利用しています。 先日、Solrのメジャーバージョンを最新の6にアップグレードしました。 それに伴ってSolrの形態素解析エンジンであるkuromojiに新語辞書であるmecab-ipadic-neologd(以下、neologd)を組み込みました。 この記事では、組み込むことのメリット及び、具体的な組み込み方を紹介します。 kuromojiにneologdを組み込むことのメリット では、まずkuromojiにneologdを組み込むことのメリットを、転置インデックスを利用した全文検索の仕組みに基づいて説明します。 転置インデックスを利用した全文検索の仕組み
【公式】バニラエア(Vanilla Air)
バニラエアのウェブサイトにアクセスいただいたお客様へ バニラエアは2019年10月27 日よりPeachとして運航を開始しています。 これまでバニラエアで運航していた路線はPeach のウェブサイトでご購入いただけます。（一部路線を除く） これより先はPeachのウェブサイトへ移動します。 １０秒後に自動転送します。 自動で画面を読み込まない場合は、下のボタンをクリックしてください。 Peachのウェブサイトへ To our customers who have accessed the Vanilla Air website; Vanilla Air has been operating as Peach Airlines as of October 27, 2019. Most routes previously operated by Vanilla Air are still in
Googleは「モバイルファーストからAIファーストへ」。その理由は、いずれデバイスという概念は消え去り、インテリジェントなアシスタントになるから
Googleは昨年8月に「Alphabet」とその傘下企業群という形に組織構造を変更したため、今年の手紙はGoogle CEOとなったSundar Pichai氏が本文を書いています。 この手紙ではGoogleの今後の方向性が明確に示されています。それは機械学習やAI（人工知能）への傾倒です。 Googleは創業当初からこの分野へ積極的に投資しリードしてきた存在ですが、今年の手紙の中でPichai氏は「We will move from mobile first to an AI first world.」（私たちはモバイルファーストからAIファーストの世界へ移るつもりだ）と、その変化を明確にしました。 その背景にある考え方はどのようなものでしょうか。手紙はいくつかの章に分かれているので、章ごとのサマリを紹介しましょう。 Knowledge for everyone: search and
A personal Google, just for you
When Google was founded, there were about 300 million people using the Internet. The vast majority of them were sitting at desktop computers and looking for answers that came in the form of blue links. Today, the Internet community is closer to 3 billion people, and you’re searching for all kinds of help everywhere — from your cars and your classrooms, to your homes, to the phones in your pockets.
Apache Solr 5.xのレプリケーションを、Docker Composeを使って試す - CLOVER🍀
Docker Composeを試してみたので、これを使ってApache Solrのレプリケーションを構成してみたいと思います。 Index Replication | Apache Solr Reference Guide 6.6 Solrのレプリケーションは、マスターとスレーブがあって、それぞれの設定をsolrconfig.xmlにすればよいみたいです。 参考） https://cwiki.apache.org/confluence/display/solr/Making+and+Restoring+Backups+of+SolrCores tree-tips: solrのReplicationHandlerで簡単レプリケーション！ | Apache Solr moco(beta)'s backup: Solrのレプリケーション機能を試す (1) 第5回 Solr4でレプリケーションを構
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Solr でランキング学習を体験する | 関口宏司のLuceneブログ
Solr 6.0.0 のインストール - Qiita
Railsでsunspot(solr)を使って全文検索 - Qiita
SREリアルティ
shinodogg.com
Solr Tutorials :: Apache Solr Reference Guide
