タグ

natural-languageに関するs_moriのブックマーク (2)

  • はてブの闇を可視化したい - 坂本から君へ

    最近知ったのだが、グーグルが提供しているWebAPIに、自然言語処理に関する機能を持つものがあって、これがなかなか面白そうだなと感じている。 cloud.google.com この中でも特に、「感情分析」というやつが気になっていて、どういうものかというと、なんでもいいので適当なテキストをこのAPIに与えると、その内容を分析して、ネガティブ度・ポジティブ度を判定してくれるというものだ。 実際にこのページからデモが試せるようになっていて、試しに「チョコレートが好きすぎて死にそう」と入れてみると、ポジティブ度90%となり、「チョコレート嫌いなのでべると死ぬ」だとネガティブ度20%と出てくる。 まあこれはわかりやすい例なんだけど、とにかくこちらが与えた文章に含まれる感情的な要素を読み取って、それを数値化して返してくれるというものだ。 こういうAPIが昔から欲しかったんだけど、なかなか気軽に利用で

    はてブの闇を可視化したい - 坂本から君へ
  • 自然言語処理における前処理の種類とその威力 - Qiita

    自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ

    自然言語処理における前処理の種類とその威力 - Qiita
  • 1