ベイジアンフィルターで日本語を分類する。 - ザリガニが見ていた...。

ベイジアンフィルターで日本語を取り扱う時に問題になってくるのが、文章を品詞レベルに分解する処理。英語の場合は、文章はスペースで区切られた品詞の集合で構成されるため、余分なことをせずに簡単に処理できる。例えば、'How do I set up an AirPort wireless network?'という文章の場合、ベイジアンフィルターは、スペースで区切られた単語を、分類するための判断材料として自動的に取り込んでくれる。 ところが、日本語の場合は、「エアポートの無線ネットワークはどうやって設定しますか？」という文章を、「エアポート の 無線 ネットワーク は どう やっ て 設定 し ます か ？ 」のように、品詞をスペースで区切った文章に変換して、ベイジアンフィルターに渡してあげる必要があるらしい。これはすごく高度な作業だ。自分のレベルではどうやっても出来ない。 そこで、この高度な作業を

[lettas0726]

mecab-rubyですって？

[Hash]

このへんをやることになりました。@syou6162 が既にブクマしてるあたり流石だ

[rokudenashi]

MacにMeCabをインストール／mecab-0.98pre3入れたら-O yomiできなかったので前のバージョン入れた

[m-ohshita]

26

[syou6162]

これはよい記事

[toton]

Classifier::Bayes ベイジアンフィルター

[rytich]

ベイジアンフィルタ

[bigwest]

ベイジアンフィルターでの日本語の分類