形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - ZOZO TECH BLOG

こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報サイトで「東京」と検索した時にDBの中には数千件のデータがあるのに検索結果数がわずか数件しかないような状態です。 欲しくな

[karauma]

検索精度[形態素解析][検索]検索結果の改善とは検索ノイズと検索漏れの数を減らし、検索結果と欲しい情報を一致させることに他ならない。しかしこの２つはトレードオフ。併用することで漏れやノイズ数を減らせる

[takazoom]

わかりやすいー

[tmatsuu]

いいねー

[braitom]

全文検索のインデックスを作るときの形態素解析、Ngramそれぞれの利点と欠点についてと、2つを組み合わせて検索ノイズを抑制する方法について。分かりやすい。

[itochan]

形態素解析による検索結果は、Ngramによる検索結果に包含されないのかな？　＞2つの検索結果をマージすることによって、検索漏れを減らします。 しかし、ただ単にマージしてしまうと、検索ノイズが増えてしまいます。

[rlho]

しおちゃんの記事