形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - Qiita
この図からも検索ノイズを減らすことと検索漏れを減らすことがトレードオフの関係にあることがわかります。 しかし、これら2つを併用することによって、それぞれを単独で使用する場合に比べて、検索漏れの数を減らし、検索ノイズの数を実質的に減らすことが可能です。 併用するための具体的な手法は以下のようなものになります。 インデックス生成処理 ドキュメントに対してNgramによるインデックスを生成する 形態素解析によるインデックスも生成する 検索処理 Ngramと形態素解析によるインデックスに対して同時に検索を行う 形態素解析によるインデックスの結果が先頭になりやすいように重みを付けて検索結果をマージする 2つの検索結果をマージすることによって、検索漏れを減らします。 しかし、ただ単にマージしてしまうと、検索ノイズが増えてしまいます。 形態素解析の結果を先頭になりやすいようにマージすることが、この併用処
形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報サイトで「東京」と検索した時にDBの中には数千件のデータがあるのに検索結果数がわずか数件しかないような状態です。 欲しくな
tree-tips: solrを使う前に知っておくべき事 | Apache Solr
solrって何？ Apache solr solr wiki オープンソースのpure javaの全文検索エンジンです。 Apacheのトッププロジェクトであり、twitterやfacebook級のサイトでも使用されています。 solrにできる事は？ 超高速検索のエンジンを自分で作成可能（オレオレMySQLのようなものを作る事ができる）。 検索する項目を自分で定義可能（RDBのカラム）。 定義した項目に、順序を保持したままリスト形式で値を保存可能（カラムにjavaでいうところのListを保存できる）。 完全一致検索可能。 中間一致検索可能（フルスキャンで超低速になるので非推奨）。 前方一致検索可能。 超高速に件数を取得する、ファセット検索が可能。（select count(*)を100回同時に行なっても超高速） 超高速に同義語検索可能で、同義語の辞書を自分で定義可能。（or name =
Ruby + Sinatra +Line Messaging api +Herokuで位置情報からの飲食店検索 - Qiita
require "json" require 'rest-client' require 'sinatra' require 'bing-search' require 'faraday' require 'line/bot' require 'date' require 'net/https' require 'yaml' require 'cgi' require 'net/http' get '/' do 'test' end def client @client ||= Line::Bot::Client.new { |config| config.channel_secret = ENV["LINE_CHANNEL_SECRET"] config.channel_token = ENV["AS_TOKEN"] } end post '/line/callback' do body
Slackで全チャンネルの全発言を取得する方法 - Qiita
はじめに 2016年12月現在、SlackAPIでは公式に全チャンネルの全発言をリアルタイムに取得する方法が用意されていません。 つまりこれはSlackが我々に叩きつけた挑戦状ではないでしょうか？（？） 全能感を味わうツールを作りたかった私は試行錯誤の上、検索APIを利用する方法で全チャンネルの全発言を取得することができたので、今回作ったツールを含め紹介します。 slackの検索APIについて https://api.slack.com/methods/search.all を使用します。 実は中身は… この検索APIのバックエンド実はsolrなんです！様々なクエリを投げていろいろ実験してるときに白状しました！ このリクエストは - 昨日以降の発言 - タイムスタンプでソート とだけ指定してSlackの検索APIを殴っています。 なんとこれだけで、10秒くらいの遅延はあるもののほぼリアルタ
Solr 6でneologdが組み込まれたkuromojiを使う方法 - ZOZO TECH BLOG
Solr 6でneologdが組み込まれたkuromojiを使う方法 こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは商品情報の全文検索を行うためのバックエンドに、Apache Solr(以下、Solr)を利用しています。 先日、Solrのメジャーバージョンを最新の6にアップグレードしました。 それに伴ってSolrの形態素解析エンジンであるkuromojiに新語辞書であるmecab-ipadic-neologd(以下、neologd)を組み込みました。 この記事では、組み込むことのメリット及び、具体的な組み込み方を紹介します。 kuromojiにneologdを組み込むことのメリット では、まずkuromojiにneologdを組み込むことのメリットを、転置インデックスを利用した全文検索の仕組みに基づいて説明します。 転置インデックスを利用した全文検索の仕組み
【公式】バニラエア(Vanilla Air)
バニラエアのウェブサイトにアクセスいただいたお客様へ バニラエアは2019年10月27 日よりPeachとして運航を開始しています。 これまでバニラエアで運航していた路線はPeach のウェブサイトでご購入いただけます。（一部路線を除く） これより先はPeachのウェブサイトへ移動します。 １０秒後に自動転送します。 自動で画面を読み込まない場合は、下のボタンをクリックしてください。 Peachのウェブサイトへ To our customers who have accessed the Vanilla Air website; Vanilla Air has been operating as Peach Airlines as of October 27, 2019. Most routes previously operated by Vanilla Air are still in
Googleは「モバイルファーストからAIファーストへ」。その理由は、いずれデバイスという概念は消え去り、インテリジェントなアシスタントになるから
Googleは昨年8月に「Alphabet」とその傘下企業群という形に組織構造を変更したため、今年の手紙はGoogle CEOとなったSundar Pichai氏が本文を書いています。 この手紙ではGoogleの今後の方向性が明確に示されています。それは機械学習やAI（人工知能）への傾倒です。 Googleは創業当初からこの分野へ積極的に投資しリードしてきた存在ですが、今年の手紙の中でPichai氏は「We will move from mobile first to an AI first world.」（私たちはモバイルファーストからAIファーストの世界へ移るつもりだ）と、その変化を明確にしました。 その背景にある考え方はどのようなものでしょうか。手紙はいくつかの章に分かれているので、章ごとのサマリを紹介しましょう。 Knowledge for everyone: search and
A personal Google, just for you
When Google was founded, there were about 300 million people using the Internet. The vast majority of them were sitting at desktop computers and looking for answers that came in the form of blue links. Today, the Internet community is closer to 3 billion people, and you’re searching for all kinds of help everywhere — from your cars and your classrooms, to your homes, to the phones in your pockets.
Apache Solr 5.xのレプリケーションを、Docker Composeを使って試す - CLOVER🍀
Docker Composeを試してみたので、これを使ってApache Solrのレプリケーションを構成してみたいと思います。 Index Replication | Apache Solr Reference Guide 6.6 Solrのレプリケーションは、マスターとスレーブがあって、それぞれの設定をsolrconfig.xmlにすればよいみたいです。 参考） https://cwiki.apache.org/confluence/display/solr/Making+and+Restoring+Backups+of+SolrCores tree-tips: solrのReplicationHandlerで簡単レプリケーション！ | Apache Solr moco(beta)'s backup: Solrのレプリケーション機能を試す (1) 第5回 Solr4でレプリケーションを構
ElasticsearchとNode.jsで全文検索エンジンを作ろう（後編）
「全文検索エンジンってどれがいい？→ElasticsearchとNode.jsで作るといい感じ」に続き、サイト内検索などに使える全文検索エンジンをElasticsearchとNode.jsで作ります。 検索エンジンの構築 データがインデックス付けされると、検索エンジンを実装する準備が整います。Elasticsearchはクエリを定義するために、Query DSLというJSONに基づいた直感的で完全な検索クエリ構造を提供しています。利用できる検索クエリの種類はたくさんありますが、本記事ではより一般的なものについて触れます。Query DSLの完全なマニュアルはここにあります。 例として説明したすべてのソースコードへのリンクを提供しています。環境を設定し、テストデータをインデックスして、リポジトリをコピーすれば、ローカルマシンのコマンドラインからnode filename.jsとするだけでサン
【東京】JJUGナイトセミナー Elasticsearch特集 9/2(金)開催
検索エンジンやログ収集可視化のプラットフォームとして注目が集まっているElasticsearch。9月のJJUGナイトセミナーではこのElasticsearchをテーマとして、Elastic社やユーザーパートナーのエンジニアによるセッションを行ないます。 以下当てはまる方はぜひご参加ください！ Elasticsearchを使ってみたいけどキッカケが掴めない 何が便利なのかよく分からない 実際に使っていてもっと便利な使い方を知りたい トラブルを抱えているから聞きたい セッション終了後には懇親会も予定していますので、ぜひスピーカーを掴まえてどんどん質問してくださいね！ なお今回は会場のスケジュール都合で、いつもの日本オラクル（外苑前）ではなく、日本マイクロソフト（品川） にて開催いたします。「来てみたけど誰もいない」ということがないようご注意を！ タイムテーブル 時間 内容 発表者
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Solr でランキング学習を体験する | 関口宏司のLuceneブログ
Solr 6.0.0 のインストール - Qiita
Railsでsunspot(solr)を使って全文検索 - Qiita
SREリアルティ
shinodogg.com
Solr Tutorials :: Apache Solr Reference Guide
GitHub - CALIL/unitrad-ui: 高速で使いやすい蔵書検索のための汎用的なユーザーインターフェース
TypeScript Types Search
