タグ

ブックマーク / s-yata.hatenadiary.org (1)

  • ウェブコーパスの一部から形態素 N-gram コーパスを作成しました - やた@はてな日記

    追記(2010-09-22):完成版がこちら(N-gram コーパス - 日語ウェブコーパス 2010)にあります. 追記(2010-08-06):文末記号(</S>)を追加したものを作成しました(形態素 N-gram コーパスの修正版 - やた@はてな日記). ダウンロード 頻度が 100 以上の N-gram を収録したもの(over99)と,頻度が 10 以上の N-gram を収録したもの(over9)を用意しました.少しでも圧縮できるように,形態素数によるファイルの分割はおこなっていません. ファイル名 サイズ 展開時のサイズ over99-0000.xz 84,443,192 bytes 459,278,821 bytes ファイル名 サイズ 展開時のサイズ over9-0000.xz 329,101,340 bytes 2,147,483,623 bytes over9-0

    ウェブコーパスの一部から形態素 N-gram コーパスを作成しました - やた@はてな日記
  • 1