全文検索エンジンGroongaで中国語のトークナイザーを使う方法 - Qiita

昨年11/29に全文検索エンジンGroongaを囲む夕べ4を開催しました。発表資料へのリンクもまとめています。隔週連載Groongaも参考になりますよ。 イベントレポートも昨年末に「全文検索エンジンGroongaを囲む夕べ 4」レポートとして公開されましたね。 はじめに オープンソースのカラムストア機能付き全文検索エンジンGroongaを公開しています。この記事を書いているときの最新のバージョンは2013年12月29日にリリースした3.1.1です。 今回は、全文検索エンジンGroongaで中国語のトークナイザーを使う方法を紹介します。 Groongaでの中国語サポート状況 全文検索エンジンであるGroongaでは、エンコーディングとしてはUTF-8をサポートしているので全文検索できなくはないのですが、そこには検索の精度の問題があります。 単純にバイグラムでトークナイズするのであれば漏れはな