N-gram - Negative/Positive Thinkingはじめに 文書の数学的表現をするためによく用いられるものに「N-gram」というものがある。 最近ちょっと混乱ので、ちゃんとまとめてみる。 N-gramとは？ 「文章などで隣り合うn個のこと」 文書を数学的に扱うために、普通に考え付くのが「その単語がでたかどうか」や「単語とその頻度」などだけど、 それだけじゃないのがn-gram。 n-gramを要素として考えることで、さまざまな文書のベクトル表現ができる(二値ベクトル、頻度ベクトルなど)。 単語n-gram 「this is a pen」という文書が与えられたとき、この文書を分解したい。 以下のように、隣り合うn個の単語を一塊として考えるのがn-gram。 1-gram(unigram) {this, is, a, pen} 2-gram(bigram) {this-is, is-a, a-pen} 3-gram(trigram) {th
