Perlではじめるテキストマイニング - JPerl Advent Calendar 2009
Perlではじめるテキストマイニング - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ ■前置き みなさんこんにちは。ダウンロードたけし（寅年）です。来年は年男なので今からお正月が待ち遠しい35歳2児の父です。 ここ数年、web広告業界ではコンテキスト解析とかユーザの行動分析とか、いわゆるデータマイニング／テキストマイニング系の話題が花盛りです。 自分もそんな業界に属しているんですが、ふと気がつくと日本語のテキストマイニング系モジュールを量産してしまっているので、ここらでいくつか紹介してみたいと思います。 今回はインターネットからブログなどのコンテンツを取得して、それを意味解析してクラスタリングする、といったようなことを題材にモジュールの紹介をしてみます。 ■HTML::Featureで本文抽出 まずは
人工無能を作ろう〜マルコフ連鎖(perl)
perlでChaSenを使って形態素解析＆「1語の接頭語+1語の接尾語」のマルコフ連鎖をする際のサンプルです。 プログラムの文字コードはEUC-JPで、CGIとして実行できブラウザから実行結果を確認できるように書いてます。 perlからChaSenを使う場合、Text::ChaSenなど便利なモジュールもあります。 しかし、利用する形態素解析ツールが変わった場合にも簡単に対応出来るようにする為、Text::ChaSenを使わない方法で書きます。 下記ソースは汚染チェック・エラーチェック等を行ってませんので、ご利用の際にはご注意下さい。 #!/usr/bin/perl -w # ChaSenのパス $chasen = '/usr/local/bin/chasen'; # 形態素解析を行う文章 $str = "本当の優しさとはどんなことなのだろうか。相手がして欲しい事に気づいてあげら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
