チュートリアル1: 1-gram言語モデル - 自然言語処理の分別奮闘記とりあえず１回目は、前に言っていたNLP Programing TutorialのCapter01(pdf)、1-gram言語モデルの勉強です。 では、スライドに沿って話を進めようと思います。 言語モデルって何？ 1-gram言語モデルの前に、そもそも言語モデルって何？ 具体例で説明すると。 音声認識システムにて、認識した結果の出力候補としていくつかの単語列があったとしましょう。 W1 = speech recognition system W2 = speech cognition system W3 = speck podcast histamine W4 = スピーチ が 救出 ストン 言語モデルは、これらの単語列に「もっともらしさ」を与えてくれるのです。 一般的には、各単語列に確率を与えてくれます。 上の各単語列は、ある言語モデルに基づくと P(W1) = 4.021*10-2 P
