2. What's NGramSynonymTokenizer? • Tokenizerレベルでシノニム展開する NGramTokenizer – minGramSize==maxGramSizeに限定 • LuceneのFSTをシノニム辞書として利⽤用 • 現⾏行行のNGramTokenizer+SynonymFilter の動作に苦しめられる多くの⽇日本⼈人/⽇日 本語ユーザの救世主となる!? – Lucene/Solr, ElasticSearch Copyright (c) 2013 RONDHUIT 2 3. 現⾏行行NGram+Synonymの問題点 • Nより短いシノニム設定ができない • ソースキーワードがシノニム展開された とき、トークン数が異なると正しいオフ セットが設定できない • シノニム設定することでかえって再現率 を低下させてしまうパターンが存在する