大規模テキストにおけるN-gram統計 - Negative/Positive Thinking
はじめに 大規模なテキストデータでのN-gram統計を取る場合、特にNが大きい場合(N>=3)は、組み合わせの数が多くなり出てくるN-gramをすべてメモリに保持しながら個数をカウントするのが難しい。効率的な方法があるのを知ったのでちょっと試してみた。 大規模テキストにおけるN-gram統計の取り方 岩波講座ソフトウェア科学15「自然言語処理」 論文: http://ci.nii.ac.jp/naid/110002934647 手順 ngramを取りたい文章を1つの文として扱う この文をメモリに読み込み、各文字の先頭アドレスを保持する配列を作成 その先頭アドレスの場所の文字から文最後までの部分文字列を1つの単語とみる この単語を辞書順に並び替える(アドレス配列だけ) ソートした単語の順番で、次の単語と「先頭から共通している文字数」を保持する配列を作成 Ngramをカウントするときは、単語の
anond.Iris beta - はてな匿名ダイアリービューワ
■ノート まずは最左部のカテゴリーリストでお好みの項目を選んで下さい。 すると、その右側、エントリーリストに一覧表示されます。 エントリへのリンクをクリックするとそのエントリへ移動します。 ただし、タイトル左の■(セクションアンカー)をクリックした場合は、 別ウィンドウで本来のはてな匿名ダイアリーを開きます。 カテゴリのリンクをクリックすると、そのカテゴリに属するエントリを左中のエントリーリストに一覧表示します。 他のリンクは別ウィンドウにて開きます。 firefox等の場合、別ウィンドウで開くリンクのみ下線が付きます。 本文上部には、トラックバックツリーでの一番大元のエントリが把握できている場合はそれを表示します。 しかし、データベースの情報不足により大元のエントリを把握できていない事が多々あり、 その場合は、わかっている範囲での一番古いエントリを表示します。 本文下部のトラックバックツ
Hatelabo::Counting
はてなカウンティングは、誰でも気軽にカウントアップ／カウントダウンを作成できるサービスです。
エンコードマニアックス - 各種エンコードやハッシュを一発作成
SHA-256 e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 SHA-384 38b060a751ac96384cd9327eb1b1e36a21fdb71114be07434c0cc7bf63f6e1da274edebfe76f65fbd51ad2f14898b95b SHA-512 cf83e1357eefb8bdf1542850d66d8007d620e4050b5715dc83f4a921d36ce9ce47d0d13c5d85f2b0ff8318d2877eec2f63b931bd47417a81a538327af927da3e
ワイヤーフレームやサイトマップを無料で作成できるオンラインサービス・アプリケーション集
ウェブサイトのワイヤーフレームやモックアップ、サイトマップ、フローチャート、ダイアグラムなどを無料で作成できるオンラインサービス・アプリケーションを紹介します。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Klout Influence Report
