ECナビ デベロッパー ネットワーク: NavicSearch API で利用しているTokenizer 0.7Solr 1.4が2009/11/10に公開されました. ECナビではまだSolr 1.4を実際のサービスには利用してませんが, Tokenizerを1.4に合わせて変更したので公開致します. NavicSearch APIで利用している Tokenizerは, Solr付属のCJKTokenizerとほぼ同等の動きをします. ラテン文字についてはスペースで分割してTokenを作成. 非ラテン文字については bi-gram でTokenを切り出します. ソース: ecnavi-tokenizer-for-solr-1.4-0.7-dev.tar.bz2 ECナビ デベロッパー ネットワーク: NavicSearch API で利用しているTokenizer 0.5からの変更点は以下の通りです. Solr 1.4に対応しました.
