KyTeaでツイート文形態素解析 | ぱわふるでいず

Twitterのツイートを形態素解析できるモデルをチマチマチマチマとアノテーションして作りました。 とりあえず1000ツイートで学習させてみた結果↓ #!/usr/bin/env perl use strict; use warnings; use Text::KyTea; my $kytea = Text::KyTea->new( model => 'twitter.mod', tagmax => 1, ); while(<>) { chomp; my $results = $kytea->parse($_); for my $result (@{$results}) { print $result->{surface}; for my $tags (@{$result->{tags}}) { for my $tag (@{$tags}) { print " ", $tag->{feat

[chezou]

KyTeaでちょっと砕けたツイートを形態素解析した例。顔文字を網羅的に辞書登録しなくても切り分けられるんだろうか？