はてなキーワードを高速に付与 - hsiomanekiの日記

sennaのsen_symクラスは、common prefix searchが可能です。この機能を使って(今更なのですが)Dartsと同じ手法ではてなキーワードを高速に付与するプログラムを作ってみました。 hatenapo.c 以下のような特徴があります。 任意のタイミングで付与対象のキーワードをインデックスに追加／削除できる インデックスの作成／更新が高速 キーワード付与が高速 http://d.hatena.ne.jp/images/keyword/keywordlistの内容でインデックスを生成し、 350KB程度の日本語テキスト(EUC)にキーワードを付与した場合の処理速度を比較してみました。 Dartsを使ったインデックス作成 % time ./mkdarts keywordlist.sort keywordlist.da 2.010u 0.060s 0:02.74 75.5%