テキスト分類器fastTextを用いた文章の感情極性判定 - Qiita
はじめに 任意の文章に対して自動的に感情極性(ポジティブ，ネガティブ)の判定を行うスクリプトを作成したのでまとめてみたいと思います． 文章(文書)から感情極性の判定を行う分野では，Sentiment Analysisや評判分析と呼ぶこともあります． 従来では，単語極性辞書といって単語ごとに極性値(ポジティブ，ネガティブの値)を登録しておいて，それを用いて極性判定する手法がオーソドックスでした． しかしながら，その手法だと極性辞書にない単語が出た場合に計算が出来ないという問題点や，そもそも単語の極性を一意に定めることが出来るのか？という問題があります． (e.g. ”安い”という単語1つとっても，安くてお買い得！と言われると安いはポジティブですが，安い奴だなと言われるとネガティブな印象を受けます) そこで本記事では，テキスト分類器とECサイトのレビューデータを用いてある文章の持つ感情極性を自
FacebookのfastTextでFastに単語の分散表現を獲得する - Qiita
「フランス」－「パリ」＋「東京」＝「日本」 こんな単語同士の演算ができる、と話題になったのがGoogleが発表したWord2Vecです。これは端的に言えば単語を数値で表現する技術で、これにより単語同士の「近さ」を測ったり、上記のような演算をすることが可能になります。この、単語を数値表現にしたものを分散表現と呼びます。 今回紹介するFacebookの発表したfastTextはこのWord2Vecの延長線上にあるもので、より精度が高い表現を、高速に学習できます。本稿ではその仕組みと日本語文書に対しての適用方法について解説していきます。 fastTextの仕組み fastTextでは、Word2Vecとその類型のモデルでそれまで考慮されていなかった、「活用形」をまとめられるようなモデルになっています。具体的には、goとgoes、そしてgoing、これらは全て「go」ですが、字面的にはすべて異なる
Facebookが公開した10億語を数分で学習するfastTextで一体何ができるのか
fastTextとは何なのか 自然言語処理の学習を高速化するツール これまで５日かかっていたタスクがたったの１０秒で終了 fastTextで取り組める３つのこと fastTextで出来る３つの全体像 Facebookはニュースフィードから釣り見出しを排除するためにfastTextをつくった？ リクルートテクノロジーズでは、レコメンドに応用 サイバーエージェントが実用化したAWAでのアーティストレコメンド Yahoo!はレシートメールの文章から製品をオススメする ◯2Vecを考えれば推薦に応用できる fastTextを安全に使うために必要な理論 単語をベクトル表現化するWord2Vec ベクトル表現を構築するアーキテクチャ CBoW Skip-gram fastTextを使ってみよう fastTextをインストールする 単語のベクトル表現を構築しよう Tweetデータの収集 単語のベクトル表
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fastText日本語doc
How can we get the vector of a paragraph? · Issue #26 · facebookresearch/fastText · GitHub