はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ここしばらく感情分析を扱ってきましたが、いずれも「感情値辞書」にもとづく方法でした。一方、機械学習をつかった感情値判定も盛んに行われています。 その中でも論理が単純明快で、かつ実用性も認められている**ナイーブベイズフィルタ（単純ベイズ分類器）**を取り上げます。 Python で自然言語処理プログラムを構築するための主要なプラットフォーム NLTK（Natural Language Toolkit） でも提供されていて簡単に行うことができます。 ⑴ ベイズ統計の基礎知識 １. ベイズ統計学小史 ベイズという名称は、18世紀の英国を生き

感情分析でネガポジの極性値を取得する元となる感情値辞書は、日本語では次の３つが挙げられます。 単語感情極性値対応表 日本語評価極性辞書 Polar Phrase Dictionary 本記事では全 55,125 語が登録された「単語感情極性値対応表」を利用させて頂きます。上記公式サイトによれば『岩波国語辞書』をリソースとして、感情極性値は語彙ネットワーク（筆者注 : 語や語句の意味的な関連性を示すネットワーク）を利用して自動的に計算された-1 から +1 の実数値となっています。 ⑴ 「単語感情極性値対応表」の取得 １. 「単語感情極性値対応表」を読み込む import pandas as pd pd.set_option('display.unicode.east_asian_width', True) # 感情値辞書の読み込み pndic = pd.read_csv(r"http://

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

自然言語処理を行うとき、具体的な狙いの一つとして「ある文章を特徴づけるような重要語を抽出したい」ということがあります。 単語を抽出するとき、まずはテキスト内で出現回数の多い単語を拾います。出現頻度順のリストの上位に挙がってくるのは、あらゆる文章に共通して頻繁に使われる語ばかりです。 品詞情報を使って名詞に限定しても、例えば「事」や「時」などのように特定の意味をなさない汎用的な単語が上位に多数出てくるので、それらをストップワードとして除外するなどの処理が必要です。 ⑴ TF-IDFという考え方 TF-IDF（Term Frequency - Inverse Document Frequency）、直訳すると「用語頻度 - 逆文書頻度」です。 出現回数は多いが、その語が出てくる文書の数が少ない、つまりどこにでも出てくるわけではない単語を特徴的で重要な語であると判定する考え方です。 多くは単語を

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?