自然言語処理はじめました - Ngramを数え上げまくる5. Ngram頻度を数える • 超基礎！ – 「入門自然言語処理」でいうと18ページ目の内容 – というか、ただの統計処理 • しかし！ – 頻度分布 – Ngram言語モデル – その他いろんな応用が考えられる！(はず) 6. Ngramとは？ • 「隣り合うN個の塊」のこと – 単語ngramや文字ngramなどがある 「金持ち喧嘩せず」の文字2gram(bigram) →{金持, 持ち, ち喧, 喧嘩, 嘩せ, せず} 「This is apple computer」の単語3gram(trigram) →{This-is-apple, is-apple-computer}
