大規模データで単語の数を数える - ny23の日記
大規模データから one-pass で item（n-gram など）の頻度を数える手法に関するメモ．ここ数年，毎年のように超大規模な n-gram の統計情報を空間／時間効率良く利用するための手法が提案されている．最近だと， Storing the Web in Memory: Space Efficient Language Models with Constant Time Retrieval (EMNLP 2010) とか．この論文では，最小完全ハッシュ関数や power-law を考慮した頻度表現の圧縮など，細かい技術を丁寧に組み上げており，これぐらい工夫が細かくなってくるとlog-frequency Bloom filter (ACL 2007) ぐらいからから始まった n-gram 頻度情報の圧縮の研究もそろそろ収束したかという印象（ちょうど論文を読む直前に，この論文の7節の
N.M-gram：ハッシュ値付きN-gram索引による全文検索の一手法 | CiNii Research
タイトル別名 N.M-gram: A Method of Full-text Search by N-gram Index with Hash Values N M gram ハッシュチ ツキ N gram サクイン ニ ヨル ゼンブン ケンサク ノ イチ シュホウ 全文検索システムの転置索引を実現するにあたり，テキストデータからN-gram法によって切り出したトークンを検索キーにする手法が広く用いられている．この手法には，言語中立性や再現率の完全性という利点がある反面，索引ファイルのサイズが肥大化して空間効率が悪化するという欠点がある．検索の際にクエリから切り出した各トークンが対象文書のテキスト内でも連接しているかどうかを判断するためには，索引ファイル内にトークンの文書内での出現位置を記録しておくことが必要となるが，この位置情報が索引ファイルの肥大化の一因となっている．本稿では，N-gr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
yuya-takeyama's Ngram at master - GitHub
