タグ

ブックマーク / dailytextmining.hatenablog.com (3)

  • 2018/7/11【19日目】Pythonではじめてのネガポジ判定 - 毎日テキストマイニング

    今日からネガポジ判定を勉強していきたいと思います。 簡単に説明しておきますと、ある単語がネガティブな言葉なのかポジティブな言葉なのかを判定し、得点化することをいうそうです。Weblioの辞書によると次のように定義されています。 ネガポジ判定とは、主に人の発言や発想などが、前向き(ポジティブ)か後ろ向き(ネガティブ)かを判定することである。 それで、ネガポジ判定を行う方法ですが、ポジティブかネガティブかを判定する辞書を作る必要があるそうです。すでに単語ごとにネガティブかポジティブかを割り当てた辞書が存在するらしいので、今回はこれを使用させてもらいます。(研究目的の利用に限り公開します、と書かれていますが一応これも研究ということで。。。)。 単語感情極性対応表 http://www.lr.pi.titech.ac.jp/~takamura/pndic_ja.html 中のデータはこんな感じです

    2018/7/11【19日目】Pythonではじめてのネガポジ判定 - 毎日テキストマイニング
  • 2018/7/10【18日目前半】MeCabに単語を登録する - 毎日テキストマイニング

    ずっと気になっていたことに、MeCabが単語を区切りすぎているのではないか? ということがありました。例えば、「AKB48」とという言葉をMeCabに渡すと、下記のようにAKBと48という単語に区切られてします。 $ echo "AKB48” | mecab AKB 名詞,一般,*,*,*,*,* 48 名詞,数,*,*,*,*,* EOS AKB48はAKB48と認識して欲しいので、今日はMeCabに特定の単語を登録していきたいと思います。 Mecabに単語を登録をする MeCabへ単語を登録する方法は2種類あるそうです。 - システム辞書への追加 - ユーザ辞書への追加 システム辞書の場合 辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう. ユーザー辞書の場合 システム辞書の更新は時間がかかります. 辞書の更新が頻繁な場合や,

    2018/7/10【18日目前半】MeCabに単語を登録する - 毎日テキストマイニング
  • 2018/7/8【16日目】対角の意味と行列が何に使われているかイメージを掴む - 毎日テキストマイニング

    13日目で行なったSickit-learnのチュートリアルで出てきた行列の対角化が何をやっているのか全くわからないので、今回調べてみました。 その時のコードがこれですね。 X_train_counts = count_vect.fit_transform(twenty_train.data) そもそも行列を高校でも大学でも勉強していないので0から勉強しないといけないです(今の高校生は学校で行列を勉強しないんですね)。 そもそも行列とは 行列はもともとたくさん書いてた数式を1つにまとめたものです。このような性質があります。 足し算・引き算・掛け算はできるが、割り算はできない。 割り算の代わりに逆行列をかける。 逆行列が存在しない場合もある。 最初に学んだ印象はこんな感じかと。 逆行列がなんなのかというと、1つの行列に対して、ある行列をかけると、対角線上に1が並んでそれ以外の数字が0になる行列

    hal7pi
    hal7pi 2018/07/09
    線形代数懐かしいです!
  • 1