marisa-trie における rank/select の実装 - やた＠はてな日記
概要 rank/select は簡潔データ構造（Succinct Data Structures）の核になる関数です．ビット列の k ビット目までに含まれる 0, 1 の数を求めるのが rank，k 番目の 0, 1 の位置（Index）を求めるのが select であり，ビット列の密度（1 の割合）によって，いろいろな実装があります． marisa-trie では，0, 1 の割合が極端に偏らないビット列を想定するとともに，32-bit 環境における性能の劣化を防ぐために，64-bit 整数を使わないようにしました．そのため，ほとんどの部分は以前に開発したライブラリからの流用ですが，新しく書き直した部分もあります．ちなみに，索引のサイズはビット列の長さ n bits に対して (1/4)n bits です． 基本 ビット列の実装 ビット列の格納には 32-bit 整数の配列を使っています
頻度計数における unordered_map の調整（C++） - やた＠はてな日記
形態素の頻度をカウントするというシンプルなタスクで std::tr1::unordered_map の性能について実験してみました．std::string より const char * の方がメモリを節約できるというような軽い内容です． 実験概要 実験環境は以下のとおりです． 実験環境 CPU：Core 2 Duo U9600 1.60GHz コンパイラ：gcc version 4.4.3 (Ubuntu 4.4.3-4ubuntu5) 入力として使用したのは，ウェブコーパスから抽出した形態素を改行区切りで保存したファイルです． 入力 サイズ：815,793,701 bytes 形態素数：133,940,786 異なり数：516,612 形態素の入力については，std::ios::sync_with_stdio(false) を呼び出した後で std::getline() を使うようにし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
