はてなブックマーク

ASCII文字列（全角アルファベット、数字を含む）に対してはStopTokenizer、日本語文字列に対してはbi-gram3)として動作するTokenizer。 SolrではCJKTokenizerFactoryをtokenizerに指定して使用する。4) 手っ取り早く日本語を扱うにはこれを使うと良い。ただし、このTokenizerはいろいろ問題を抱えているので注意。5) N-gram解析を行うTokenizer、TokenFilter。 SolrではNGramTokenizerFactory、NGramFilterFactory6)をそれぞれtoknizer、filterに指定して使用する。 NGramTokenizer、NGramFilterはmaxGramSize、minGramSizeでN-GramのNを調整することができる。7) 例１）maxGramSize=1、minGram