showyouのブックマーク - はてなブックマーク

冪乗則と一様分布と遷移キャッシュ - やた＠はてな日記

これまでキーの参照頻度が一様分布に従うという無茶な仮定の下で実験をすることが多かったのですが，遷移キャッシュを導入したということもあり，冪乗則だとどうなるのかを調べてみました．実験に用いたデータは，日本語ウェブコーパスにおける頻度 1000 以上の単語 N-gram です． N-gram コーパス - 日本語ウェブコーパス 2010 http://s-yata.jp/corpus/nwc2010/ngrams/ 単語 N-gram コーパスの頻度情報を利用すれば，冪乗則が成立する状況を再現できます．すなわち，一部の高頻度な N-gram が全体に対して大きな割合を占め，ほとんどの N-gram は稀に出現するのみとなります．遷移キャッシュの効果は高頻度の遷移を高速化することであり，参照頻度が冪乗則に従う状況であれば，より高い効果が期待できます．実験結果（Google Document）

showyou 2011/05/10

リンク

新しいトライのライブラリを公開しました - やた＠はてな日記

概要トライのライブラリを公開しました．ドキュメントはまったく用意できていませんが，とりあえず使えます．（追記 2011-01-09）ドキュメントを追加しました． http://code.google.com/p/marisa-trie/ ドキュメントベンチマーク使い方インタフェースツールインストールビルド・インストールの方法は configure と make です．以下のようにすればインストールできます． ./configure make make check sudo make install インストールせずに試したいという方は，make install を省略して，tools/ 内部のツールを使うなり，lib/marisa/trie.h を見て使い方を確認するなりしてください．インストールせずにライブラリを利用するには，lib/ 以下のヘッダすべてと lib/libm

showyou 2011/01/09

マスタースパーク？

リンク

やた＠はてな日記

はてなダイアリーが終了してしまうので，とりあえず Blogger に移行することにしました． https://s-yata.blogspot.com/ 土曜日の夜から妙に体がダルいと思っていたのですが，朝起きた段階で頭痛，午後には鼻水とくしゃみが追加されて，実に風邪らしい風邪を引いてダウンしていました．やったことと言えば，宅配便を受け取ったことくらいです．いろいろと予定が狂ってしまいました． grn_ts: use a cache when sequentially accessing grn_ja · Issue #441 · groonga/groonga · GitHub 以下のようなクエリを試すと，実行時間が想定より長くなることがわかりました． select Table --filter 'TextCol == "A"'少し調査すると，フィルタリング以外，具体的にはカラムから値を