マルコフ連鎖で日本語をもっともらしく要約する - ザリガニが見ていた...。
そもそも、マルコフ連鎖とは何なのか？全く聞いたこともなかった。そして、文章を要約するのはとっても高度なことだと思っていて、自分のレベルではその方法を、今まで思い付きもしなかった。 しかし、以下のようなシンプルなRubyコードでそれが出来てしまうと知った時、目から鱗である...。一体、何がどうなっているのだ？コードを追いながら、マルコフ連鎖を利用するという発想の素晴らしさを知った！ 作業環境 MacBook OSX 10.5.7 ruby 1.8.6 (2008-08-11 patchlevel 287) [universal-darwin9.0] mecab utf8環境でインストール済み マルコフ連鎖に出逢う rssを流し読みしていると、以下の日記に目が止まった。（素晴らしい情報に感謝です！） MeCabを使ってマルコフ連鎖 一体何が出来るコードなのか、日記を読んだだけではピンと来なかっ
Pythonで形態素解析 - よしなしごと
授業で，日本語文書を単語に切り分け索引語リストを作りtf-idfを求めよという課題が出たので，Pythonで取り組んでみることにしました．基本的には初心者なので，誤りなどあればご指摘いただければ幸いです． まずは日本語文書を形態素解析するために，オープンソースの形態素解析エンジンMeCabをインストールします．形態素解析とは文を形態素という言語で意味を持つ最小単位に分割し，それぞれの品詞を判別する技術です．自然言語処理の基礎技術でかな漢字変換や機械翻訳などに使われたりします．形態素解析 - Wikipedia．国立国会図書館の前館長である長尾真先生は自然言語処理における第一人者で，形態素解析エンジンには長尾先生の研究室で作成され現在も開発が続けられているJumanというシステムもあります．*1 Try JUMAN MeCabのインストール 公式のページからPythonバインディングも提供さ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
