@penguinana_さんからもらったtweetの山解析してるんだけど、中には日本語だけじゃなくて中国語とか英語も混ざってたりする。 この辺解析するのは時間の無駄なので機械的にカットできないかと思った。 この辺id:n_shuyoさんのlanguagedetect使って判定できると幸せなんだけど、tweetだと結構誤判定するのが残念なとこ。 http://code.google.com/p/language-detection/ でも中国語なら中国の簡体字弾くだけでも結構減らせるかなぁって。 そしたらid:takeda25さんが↓のようにやるといけると教えてくれた。 あとで試してみる。 http://d.hatena.ne.jp/takeda25/20110131 その最中にこんなの見つけた。 Pythonの自然言語処理用パッケージNLTKをインストール http://d.hatena.