キーワード抽出モジュール Lingua::JA::Summarize を使うコツ (nakatani @ cybozu labs)
いわゆる「Web2.0」っぽい要素である「タグ」。 一般にはタグ付けは手動で行うわけですが、自然言語テキストへのタグ付け(キーワード抽出)を自動で行うことができれば、あれこれと可能性が広がって楽しそう……しかし、それは実現が難しかったり高コストだったりして、簡単に手を出せる解はあまりありません。 ラボの奥さんの作成したキーワード抽出モジュール Lingua::JA::Summarize は次の特徴を持っています。 動作要件の敷居が低い 辞書のメンテナンスをしなくても、未知語や熟語もある程度抽出してくれる 希望の結果に近づけるためのチューニングが可能 本モジュールを使って、サイボウズ・ラボ内での情報交換を行っている社内掲示板をスレッド単位で解析しているのですが、辞書を一切チューニングしていない状態でも「しょこたん☆ぶろぐ」や「猫かぶり隊隊員ニャンコ達」などの特徴的なキーワードが抽出されます（
はてなダイアリーのようにキーワードを自動でリンクするアルゴリズムを知りたいです。…
はてなダイアリーのようにキーワードを自動でリンクするアルゴリズムを知りたいです。単純に考えると、①キーワードのリストを持っておく。②対象となる文章に、あるキーワードが含まれているかを検索する。③「②」の検索をキーワードの数だけ繰り返す。ということになると思います。1万語のキーワードリストがある場合、1万回の検索を行うことになり、たとえば多数の投稿がある場合は効率も悪いですし負荷も掛かります。もっと効率のいいアルゴリズムがあるのでしょうか。
はてなダイアリーキーワードふりがなリストを公開しました - はてなダイアリー日記
本日、キーワード名とふりがなが対になっている、はてなダイアリーキーワードふりがなリストを公開しました。ユーザー様が独自に作成されている辞書などで、名詞の読み仮名などでご活用いただくと便利かと思います。 以下のURLを右クリックでファイルに保存してご覧ください。 http://d.hatena.ne.jp/images/keyword/keywordlist_furigana.csv http://d.hatena.ne.jp/images/keyword/keywordlist_furigana_with_kid.csv (キーワードID つき) ※タブ区切りの csv 形式、文字エンコードは EUC で改行コードは LF となっております。 ※ファイルサイズが本日現在 4M 強ほどあります。ブラウザで開く際はご注意下さい。 このリストをは定期的に最新情報に更新しています。どうぞご利用下さ
はてなキーワード抽出の確認 - odz buffer
上のエントリのスクリプトの動作確認。 とりあえず抽出ミスがないかどうかだけ確認。 #!/usr/bin/env perl use strict; use warnings; if (@ARGV != 2) { printf STDERR "usage: %s keywordlist keywordlist.extracted\n", $ARGV[0]; exit 1; } open my $rfh, $ARGV[0] or die; my $regex = join '', <$rfh>; close $rfh; open my $fh, $ARGV[1] or die; while (my $line = <$fh>) { chomp $line; if ($line !~ /^$regex$/o) { print STDERR "$line is not match\n"; close
はてなダイアリーキーワードと辞書 - 焼きサンマ綺麗に食べるブログ
自然言語処理講習会で形態素解析器への辞書の追加方法がわかった。「はてなバンザイ」ということで、はてなダイアリーキーワードを全部ユーザー辞書にしようということを考えた。 最初、一覧ページを全部持ってきてやろうかと思ってたけど、先輩に言われてはてなダイアリーキーワード自動リンクAPIの正規表現版があるということなのでそれを用いてはてなダイアリーキーワードを取得しようということに。 それで、ダウンロードしてみたら、よくわからない文字列になっていた。いろいろやってみると文字列を1バイトごとに分割しているTrieになっているっぽい。Regexp::Trie(http://search.cpan.org/dist/Regexp-Trie/lib/Regexp/Trie.pm)なんていうモジュールもあることだし。 そのため、展開してみようという話になったけど結局よくわからない。 う〜ん、もっと簡単にでき
はてなキーワードAPIからはてなキーワード一覧を取得する - odz buffer
technical note - はてなダイアリーキーワードと辞書 こうですか？良くわかりません。 % wget http://d.hatena.ne.jp/images/keyword/keywordlist % python extractkeyword.py keywordlist > keywordlist.extracted % grep java keywordlist.extracted | head -n 10 10688:java 10689:java community process 10690:java computing 10691:java desktop system 10692:java ee 10693:java press 10694:java se 10695:java server faces 10696:java studio 10697:java
きまぐれ日記: Autolink: 前方最長一致ではなく最長キーワード優先一致を実現する
Hatena のキーワード置換アルゴリズムがTRIE ベースの手法に変更になったようです。以前に AC法でやる方法の記事を書いたのですが、それと似たことをやってるのでしょうか。 AC法のやり方は単純で、前方から最長一致でキーワードを見つけていきます。これまでは長いキーワードから順番に見つけていく方法(最長キーワード優先一致)だったそうですが、前方から見つけていく方法だと短いキーワードが優先される場合があります。 http://d.hatena.ne.jp/ita/20060119/p1 http://d.hatena.ne.jp/hatenadiary/20060119/1137667217 本文：あいうえおかきくけこさしすせそ KW1 いう KW2 うえおかき KW3 かきく KW4 きくけこさし という文でKW1-KW4のキーワードがマッチする場合、新しくなった方法では「いう」と「かき
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列重要 - odz buffer
[観] はてなブックマークの謎
はてなダイアリーキーワード連想語APIとは はてなの人気・最新記事を集めました - はてな
『きまぐれ日記: Autolink: 前方最長一致ではなく最長キーワード優先一致を実現する』へのコメント