[B! 自然言語処理] sovapritzのブックマーク

手軽にTF/IDFを計算するモジュール - download_takeshi’s diary

情報検索の分野でよく使われるアルゴリズムで「TF/IDF」というものがあります。ドキュメントの中から「特徴語」を抽出する、といったような用途でよく使われています。 TF/IDFアルゴリズムのくわしい解説はこことかここを見てください。今回はこのTF/IDFの計算を「簡単」に実現するためのperlモジュールをCPANに上げましたので、ご紹介します。なまえはLingua::JA::TFIDFといいます。 Lingua::JA::TFIDF - TF/IDF calculator based on MeCab. http://search.cpan.org/~miki/Lingua-JA-TFIDF TF/IDF実装の困りどころ TF/IDFの実装を試みた方であればわかると思うのですが、実際にやろうとすると、TF（Term Frequency）の計算はなんら難しくありませんが、IDF（Inve

sovapritz 2010/04/26

リンク

Senna 組み込み型全文検索エンジン - Senna 組み込み型全文検索エンジン

This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.

sovapritz 2009/10/21

リンク

形態素解析の茶筅

ChaSen -- 形態素解析器はじめに形態素解析器とは、入力文を単語単位に分割し品詞を付与するツールである。新着情報 2011-11-16 (wed) See JPCERT Report. 茶筌の配布ダウンロードあらかじめ iconvと Darts-0.31のインストールが必要です。 chasen-2.3.3 辞書は別配布になっています。 ipadic-2.7.0 日本語辞書 UniDic 日本語辞書 NAIST-Japanese-dic 日本語辞書（奈良先端大より公開予定） NAIST-Chinese-dic 中国語語辞書（奈良先端大より公開予定）著作権および仕様条件について茶筌システムは，広く自然言語処理研究に資するため無償のソフトウェアとして開発されたものである．茶筌の著作権は，奈良先端科学技術大学院大学情報科学研究科自然言語処理学講座(松本研究室)が保持する．本ソフ

sovapritz 2009/10/13

自然言語処理

リンク

形態素解析エンジンを使う

土佐弁で「いやー雨がふっちゅう」という言葉がある。これを標準語に翻訳すると「おお、私が気づかないうちに雨が降り始め、そして降り止んだようだ」という感じかな。過去完了形なんて標準語にないので正しく翻訳が難しいのだが、方言にはこういう言葉が結構あるものだ。さて、そんなわけで(どんなわけだ)形態素解析エンジンの話。その昔、ケータイ画像投稿掲示板を作った時に検索要素の吸いだしにChasenを使った事がある。が、今はMeCabというのがあるらしいので使ってみた。 MeCabのインストール Debian lennyなので簡単に入る。ただしそのままだとEUC-JPエンジンになってしまう。うちにあわせてUTF-8辞書をインストールした。(わざわざ変換する必要はありません) # aptitude install mecab mecab-jumandic-utf8 あとは、こんな感じで実行できる。 $ e

sovapritz 2009/10/13

自然言語処理

リンク

MeCab: Yet Another Part-of-Speech and Morphological Analyzer(形態素解析エンジン)

MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧くださいメーリングリスト一般ユーザ向けメーリングリスト開発者向けメーリングリスト新着情報 2008-02-03 MeCab 0.97 マルチスレッド環境で辞書を開くときの排他制御がうまくいっていなかったバグの修正 Windows版でインストール時に辞書の文字コードを指定できるようになった一部のコンパイラで正しくコンパイルできなかった問題の修正部分解析モードを変更するAPI の追加 (Tagger::set_partial()) ラティスの生成レベルを変更するAPI の追加 (Tagger::set_lattice_level()) 温度パラメータを変更するAPIの追加 (Tagger::set_theta()) 全候補出力モードを変更するAPIの追加 (Tagger::set_all_morphs()) 2007-