MacPortsでMeCabを入れてPythonバインディングをvirtualenv環境に入れた - kanonji’s diary
最近読んでるオライリーの入門ソーシャルデータを読み進めるのに必要みたいだったので、MeCabを入れました。入れるのはMacPortsで簡単だったけど、ちょっとだけ注意点があったのでメモしておきます。 インストール $ sudo port install mecab $ sudo port install mecab-ipadic-utf8 $ cd /opt/local/lib/mecab/dic/ $ sudo ln -snf ipadic-utf8 sysdic $ mecab これはテストです。 #標準入力 これ 名詞,代名詞,一般,*,*,*,これ,コレ,コレ は 助詞,係助詞,*,*,*,*,は,ハ,ワ テスト 名詞,サ変接続,*,*,*,*,テスト,テスト,テスト です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス 。 記号,句点,*,*,*,*,。,。,。 EOS
umzwkynの日記
calculate.rb # -*- coding: utf-8 -*- # 任意の対数の底で計算する def log_n(x,n) # n:底 return (Math::log(x))/(Math::log(n.to_f)) endjlma.rb # 受け取った文字列を形態素解析して、結果を配列に入れて返す関数 def jlma_ch(ch) # Japanese language morphological analysis mecab = MeCab::Tagger.new() node = mecab.parseToNode(ch) ary = Array.new while node do ary.push("#{node.feature}".split(",")) # ary.push( "#{node.surface}\t#{node.feature}") node = n
Mecab Pythonを使ったTF・IDFによるWikipediaの重要単語抽出 - Y's note
入門 自然言語処理 作者: Steven Bird,Ewan Klein,Edward Loper,萩原正人,中山敬広,水野貴明出版社/メーカー: オライリージャパン発売日: 2010/11/11メディア: 大型本購入: 20人 クリック: 639回この商品を含むブログ (44件) を見る TF・IDF計算 自然言語処理の勉強としてTF・IDFによる重要単語の抽出をwikipediaのデータに対して試してみます。TF・IDFを一言でまとめると、とある単語の重要度を出現頻度から計算する手法です。計算結果は重みを表します。TFは単語の出現数(Term Frequency)、IDFは総文書数 / 単語が出現する文書の総数の対数(Inverted Document Frequency)、TFIDFはその積になります。数式にすると以下のようになりますが、Webを検索してみると人によって計算の仕方が異
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
