groongaの全文検索処理の流れ - 2011-10-20 - ククログgroongaにデータを登録して、インデックスを更新すると全文検索をすることができます。ここでは、groongaが内部でどのような処理をして全文検索をしているかを説明します。 前提 まず、以下のように「Yes good」と「Hey good」という文書が登録されているとします。 このとき、「Yes good」で検索したらどうなるかを説明します。 トークナイズ まず、入力の「Yes good」をトークナイズします。このとき使用するトークナイザーは使用する転置インデックスと同じものです。転置インデックスが使用するトークナイザーは語彙表（lexcion）を見ればわかります。今回はTokenDelimitトークナイザーですね。 TokenDlimitは空白区切りでトークナイズするトークナイザーなので「Yes good」は「Yes」と「good」にトークナイズされます。 転置インデックスの参照 トー
