Naive Bayesの罠 - EchizenBlog-Zwei

< Naive Bayesの実装 < | > ---- > ================================================ Naive Bayes(NB,ナイーブベイズ)には気になる事があるよ、という話。前回、文書{バナナ,カレー}が「甘い」クラスと「辛い」クラスそれぞれに属する確率(対数尤度)をナイーブベイズ分類器で求めた。 その結果、文書{バナナ,カレー}は「辛い」クラスに属することがわかった。しかしバナナもカレーも「甘い」クラスに入っているのに「辛い」クラスのほうが対数尤度が大きいというのはちょっと直感に反するかもしれない。以下ではこの点について考察する。 前回求めた対数尤度の計算式は以下の通り。 lnP(甘い|{バナナ,カレー}) = lnP(カレー|甘い) + lnP(バナナ|甘い) + lnP(甘い) = 0.69 + 0.69 - (2 -

[aidiary]

最尤推定では1/2=500/1000、データ数が少ないほどたまたま現れた単語の尤度が大きく扱われる

[hiromark]

あとで読む。