はてなブックマーク

ここしばらく感情分析を扱ってきましたが、いずれも「感情値辞書」にもとづく方法でした。一方、機械学習をつかった感情値判定も盛んに行われています。 その中でも論理が単純明快で、かつ実用性も認められているナイーブベイズフィルタ（単純ベイズ分類器）を取り上げます。 Python で自然言語処理プログラムを構築するための主要なプラットフォーム NLTK（Natural Language Toolkit） でも提供されていて簡単に行うことができます。 ⑴ ベイズ統計の基礎知識 １. ベイズ統計学小史 ベイズという名称は、18世紀の英国を生きた牧師トーマス・ベイズ（Thomas Bayes, 1702-1761）の名前です。彼が趣味で数学の研究をしていた際に、いわゆる「ベイズの定理」を発見したのは1740年代とされています。その後、フランスの数学者 ピエール＝シモン・ラプラス（Pierre=Simon

感情分析でネガポジの極性値を取得する元となる感情値辞書は、日本語では次の３つが挙げられます。 単語感情極性値対応表 日本語評価極性辞書 Polar Phrase Dictionary 本記事では全 55,125 語が登録された「単語感情極性値対応表」を利用させて頂きます。上記公式サイトによれば『岩波国語辞書』をリソースとして、感情極性値は語彙ネットワーク（筆者注 : 語や語句の意味的な関連性を示すネットワーク）を利用して自動的に計算された-1 から +1 の実数値となっています。 ⑴ 「単語感情極性値対応表」の取得 １. 「単語感情極性値対応表」を読み込む import pandas as pd pd.set_option('display.unicode.east_asian_width', True) # 感情値辞書の読み込み pndic = pd.read_csv(r"http://

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

自然言語処理を行うとき、具体的な狙いの一つとして「ある文章を特徴づけるような重要語を抽出したい」ということがあります。 単語を抽出するとき、まずはテキスト内で出現回数の多い単語を拾います。出現頻度順のリストの上位に挙がってくるのは、あらゆる文章に共通して頻繁に使われる語ばかりです。 品詞情報を使って名詞に限定しても、例えば「事」や「時」などのように特定の意味をなさない汎用的な単語が上位に多数出てくるので、それらをストップワードとして除外するなどの処理が必要です。 ⑴ TF-IDFという考え方 TF-IDF（Term Frequency - Inverse Document Frequency）、直訳すると「用語頻度 - 逆文書頻度」です。 出現回数は多いが、その語が出てくる文書の数が少ない、つまりどこにでも出てくるわけではない単語を特徴的で重要な語であると判定する考え方です。 多くは単語を

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

因子分析は、多数ある変量の間に共通する因子を探り出して、それらの共通因子を使ってデータを評価するための技法です。 たとえば、マーケティングリサーチでは、ある質問の回答データ（多肢選択型でそれも選択肢が何十もある）について因子分析を行ない、ずっと少ない数の因子に置き換えます。それを今度はデータとして、クラスター分析（人分け）を行ない、つまりタイプ分類をしてプロファイリングをやったりします。各クラスターの性別・年齢別の構成比はどうなっているか、どのような特性をもった人たちなのか、市場全体に占めるボリュームは何％か、というようなことをやるわけです。 さて、12教科のテストの得点が1000人分、というダミーデータを因子分析用に作成しました。 以下、scikit-learnを利用して、因子分析の大筋をつかみます。 ⑴ ライブラリを読み込む # 数値計算ライブラリ import numpy as np