Kazuho@Cybozu Labs: キーワード抽出モジュールを作ってみた

« IIS のログを tail -f | メイン | Lingua::JA::Summarize 0.02 » 2006年04月26日 キーワード抽出モジュールを作ってみた 一昨日、同僚の竹迫さんに、文書内からのキーワード抽出技術について教えてもらっていた時、わざわざ TF-IDF注1 用に別のコーパスを用意しなくても、MeCab だったら生起コストを辞書内に持っているんだから、それを使えばいいのではないか、という話になりました。 竹迫さんがその日のうちに作ってくれたプロトタイプで、アルゴリズムの改善とパラメータのチューニングを行ったところ、十分な品質が出そうなので、書き直して公開することにしました。 普通の Perl モジュールなので、 perl Makefile.PL && make && make install すれば使うことができます (15:50追記: すみません。 MeCab

[toton]

初期データベースの準備が不要, メンテナンスフリー

[sho_hisa]

形態素解析

[starpos]

キーワードって何なのか？っていうと，世の中の文書全体における単語の分布に比べて，当該文書にそのキーワードの出てくる確率が高いもの，だと思うわけです．だから，skew(偏り)が，大事なんじゃないかと思っているの

[webmarksjp]

自然言語処理

[ono_matope]

キーワード抽出。生起コスト。

[ditty]

難しい。Fwd山田

[tarkiy]

キーワード抽出，形態素解析，サイボウズラボの奥一穂さんの作成した形態素解析エンジン

[nirvash]

mecab + perl

[sunaoka]

MeCab を使って文章からキーワード抽出

[takatoshiono]

日本語文章の解析か、いいな

[Mobcom00]

注5: (4/27 11:53 追記) threshold (閾値) の初期値は 5 です

[nitsuji]

日本語文章の解析か、いいな

[hideoki]

日本語特徴抽出

[kdaiba]

面白い

[hiro_y]

MeCabを使って形態素解析、キーワードを抽出。

[aql]

面白そう。

[uraito]

助詞の「の」連結を一段だけ認める扱いを入れるとうちのと同じに

[mxg]

mecab

[makoto15]

形態素解析

[algotrader]

のりがすき。

[drk7jp]

キーワード抽出モジュール

[uemu]

MeCabとperlで

[KoshigoeBushou]

楽しそう。

[hiromark]

使えそうだ。

[vas-animatum]

キーワード抽出ライブラリ

[cheebow]

これ良いかも。あとで試す

[tsupo]

実装にあたっては、連続する名詞を自動的に結合評価するようにした点がポイント/要約機能は未実装/時事問題や、専門性の高い文書についても、適切なキーワード抽出を期待できる

[charsbar]

すばらしい！