形態素解析と検索APIとTF-IDFでキーワード抽出
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード候補が含まれるドキュメ
ふいんきり〜だ〜
ふいんきり〜だ〜は、任意の日本語文書の内容を解析して、 2ちゃんねる(＋まちBBS)でいうとどこの板のふいんき(←なぜか変換できない)に似ているかを教えてくれるプログラムです。文書のトピックの判定、未訪問URLの内容把握、知らない板の発掘などにどうぞ。 現在、この機能を真面目ツールとしてウェブブラウジング中に使えるように Firefox の機能拡張へと発展させました。(作者の webサイト入り口 / blog / 大所帯私設応援団) ● 基本的に長い文章ほど精度は上がります。短いとノイズが効いてきます。 ● ウェブサービスとして API 公開しました。開発者向け。振り分けに! タグ付けに! ● 類似度スコアの目安として1000以上が大いに類似、500がちょっと似てるくらい。 ● 07/18/2007、解析結果を保存してあとから見られるようになりました(例)。 ● 解析から1日以内に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
