Perlではじめるテキストマイニング - JPerl Advent Calendar 2009

Perlではじめるテキストマイニング - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ ■前置き みなさんこんにちは。ダウンロードたけし（寅年）です。来年は年男なので今からお正月が待ち遠しい35歳2児の父です。 ここ数年、web広告業界ではコンテキスト解析とかユーザの行動分析とか、いわゆるデータマイニング／テキストマイニング系の話題が花盛りです。 自分もそんな業界に属しているんですが、ふと気がつくと日本語のテキストマイニング系モジュールを量産してしまっているので、ここらでいくつか紹介してみたいと思います。 今回はインターネットからブログなどのコンテンツを取得して、それを意味解析してクラスタリングする、といったようなことを題材にモジュールの紹介をしてみます。 ■HTML::Featureで本文抽出 まずは

[soyana]

特徴語の抽出 (Lingua::JA::TFIDF, Lingua::JA::OkapiBM25)

[toton]

■HTML::Featureで本文抽出 ■特徴語の抽出 (Lingua::JA::TFIDF, Lingua::JA::OkapiBM25) ■Lingua::JA::Categorizeで文書分類してみる ■クラスタリングをガンガンこなす（Text::Bayon）

[nilab]

Perlではじめるテキストマイニング - JPerl Advent Calendar 2009:「HTML::Featureで本文抽出」「特徴語の抽出 (Lingua::JA::TFIDF, Lingua::JA::OkapiBM25)」「Lingua::JA::Categorizeで文書分類」「クラスタリングをガンガンこなす（Text::Bayon）」

[Yuichirou]

余談：HTML::Feature::Engine::TagStructure は HTML::ExtractContent とどっちが精度いいんだろう?