N-gram 言語モデルを圧縮するには - やた＠はてな日記
はじめに 今回の記事は，以下の論文に関するものです．他にも紹介記事（ACL2011論文「Faster and Smaller N-Gram Language Models」を読んだ - EchizenBlog-Zwei）があるので，そちらでは特に触れられていない部分を（独断と偏見により）解説しています． http://nlp.cs.berkeley.edu/pubs/Pauls-Klein_2011_LM_paper.pdf Adam Pauls and Dan Klein. Faster and Smaller N-Gram Language Models. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 258--267, 2011. 概要 こ
本当に必要なN-gramは2割しかない - nokunoの日記
Entropy-based Pruning of Backoff Language Modelsを読んだ．単語N-gramはとてもよくできていて言語モデルとしての性能はかなりのものなのだが，なんの枝刈りもせずに中規模〜大規模なデータに適用しようとするとサイズが馬鹿でかくなってしまう．そのための対策としてよくあるのが語彙のサイズを制限する方法と，N-gramの頻度が一定以下のものを切り捨てるという方法（後者の場合は語彙も自動的に制限される）．Google 日本語N-gramなども頻度20以上のものが配布されており，効率よくデータサイズを減らすためには頻度でカットオフする方式がよく使われていると思う（語彙だけだとかなり制限しないとサイズが減らない）．しかしカットオフしすぎると性能はかなり落ち込むので，うまい方法はないものかと考えられたのがこの論文の手法である．N-gramのデータには頻度の高い
kenlm . code . Kenneth Heafield
KenLM estimates, filters, and queries language models. Estimation is fast and scalable due to streaming algorithms explained in the paper Scalable Modified Kneser-Ney Language Model Estimation Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H. Clark, and Philipp Koehn. ACL, Sofia, Bulgaria, 4—9 August, 2013. [Paper] [Slides] [BibTeX] Querying is fast and low-memory, as shown in the paper KenLM: Faste
ACL2011論文「Faster and Smaller N-Gram Language Models」を読んだ - EchizenBlog-Zwei
ACL2011の論文で「Faster and Smaller N-Gram Language Models」というのが気になったので読んでみた。 ACL Anthology » P11 Faster and Smaller N-Gram Language Models Adam Pauls, Dan Klein; 2011 本論文はこれまで提案されている言語モデルの圧縮・高速化の手法を実装して比較したよ、というもの。各種法が丁寧に解説されており、性能比較もよく知られているツールであるSRILMをベースラインとして行っているので参考になる。サーベイ論文として優れていると感じた。 本論文で紹介されている手法はモデルのサイズ圧縮と高速化の2点に関するもの。 まずはサイズ圧縮について。これはTRIEを使うことで各Nグラムの共通したプレフィクスを圧縮するのが基本らしい。でTRIEについてはノードの持
ngram-discount
NAME ngram-discount - notes on the N-gram smoothing implementations in SRILM NOTATION a_z An N-gram where a is the first word, z is the last word, and "_" represents 0 or more words in between. p(a_z) The estimated conditional probability of the nth word z given the first n-1 words (a_) of an N-gram. a_ The n-1 word prefix of the N-gram a_z. _z The n-1 word suffix of the N-gram a_z. c(a_z) Th
統計的機械学習セミナー (2) 教師無し＆半教師分かち書き - 木曜不足
昨日の続き。 持橋さんの教師なし＆半教師分かち書きについて、わかる範囲で説明してみる。 「分かち書き」とは文章を単語に区切ること。日本語や中国語など単語の区切りに空白を入れない言語では、これがないとほとんど何にもできない。MeCab 様々、と常日頃感謝しまくっている人も多いだろう。 その MeCab は膨大な辞書と大量の正解データを使って作られた「教師ありの分かち書き」。教師あり学習のモデルである CRF(Conditional Random Fields) を用いている。 教師ありのため、辞書に載ってない言葉や、正解データに現れていない区切り方は苦手。それらが用意されていない言語や方言(話し言葉含む)は、満足に分かち書きできない。 そこで「教師なし分かち書き」ができたらいいな、という話になる。これは大量の文章さえ与えたら、そこから単語の区切り方を自動的に判断できるようになる、という夢のよ
音声対話用言語モデル作成
KyTeaを用いた音声対話用言語モデル作成 作成手順の概要 発音を推定する KyTea モデルを作成する 対話書き起こしと適応分野テキストを上記 KyTea で処理 適応分野特有のクラスをクラス記号に置き換える クラス内の単語の生成確率の決定 言語モデルの作成 1. 発音を推定する KyTea モデルを作成する (KyTea Ver.0.13) KyTeaにデフォルトで付属しているモデルは発音ではなく読み(正確にはキーボード入力可能な仮名の列)を推定するためのモデルなので、 発音を推定するためのモデルを別途作成する必要がある % train-kytea -full CSJ+BCCWJ.wordpron -dict UNI.wordpron -model CSJ+BCCWJ+UNI.bin KyTea用モデルファイル(単語分割＋発音推定) CSJ+BCCWJ+UNI.bin % trai
Home Page of JIANQUAN LIU :: A smile a day keeps the doctor away » Presume bigram model
かきのようにbigramの推定するプログラムとなりますが、Kneser-Ney手法を使って、ソースコードの交流をしたいと思いますので、ここにしか公開されません。もし、転載したければ、僕の承認を取らなければなりません。よろしくお願いいたします。 /* * Function: Presume bigram according to training data * Author : Jianquan LIU, 200720946 * Date : Mon. 11/5/2007 * Language: C++ * Compile : g++ -o kneser-ney kneser-ney.cpp */ #include <stdio.h> #include <stdlib.h> #include <iostream> #include <vector> #include <string> usi
Kylm - The Kyoto Language Modeling Toolkit
日本語 This is the Kyoto Language Modeling toolkit (Kylm), a language modeling toolkit written in Java. It contains features including: Tools for comparing the effectiveness of various types of language models. Ability to model unknown words using sub-word units (characters). Support for a number of different smoothing methods. Output in WFST format for use with WFST decoders (such as Kyfd). Download
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ISCA - ArchiveRedirection
Laboratory of Language Technology < Projects < Tallinn University of Technology
単純グッド・チューリング推定法 (Simple Good-Turing Estimation) とは何ぞや？ - あらびき日記