gensimによるニュース記事のトピック分類 〜後編〜 - Qiita
前回の記事、gensimによるニュース記事のトピック分類 〜前編〜では、livedoorのニュースコーパスをトピック分類するための前処理とgensimのLDAモデルで扱えるようにするための辞書とコーパス作成の手順について、クラス内の関数という形で説明してきました。 今回の後編では、実際にそのクラスを使ってlivedoorのニュースコーパスに適切な処理を施し、gensimのLDAモデルを使ってトピック分類を行ってみようと思います。 辞書とコーパスの作成 前回説明したユーザー辞書は、/usr/local/lib/mecab/dic内にuserdicというディレクトリを作り、その下にignores.dicとして保存しています。 tt = TextTransform(texts, ignores_path='./data/ignores.txt', userdic='/usr/local/lib/
【Python】自然言語処理でラーメン屋を分類してみる - Qiita
はじめに こんにちは、コピペデータサイエンティストです。 3年ぐらい前に「ラーメンと自然言語処理」というおちゃらけLTをしたのですが、今見ると恥ずかしいぐらいショボいので、Pythonで作りなおしてみました。 長くなったので3行でまとめると Web上に転がっている口コミとか紹介文を Pythonのライブラリを用いて解析することで 好きなラーメン屋に似たラーメン屋を見つける手法を構築した 方法 統計的潜在意味解析という手法を用います。ざっくり言うと、文書がどんなトピックを持っているか、何に関する文書なのか、を推定してくれるものです。 以下の様なイメージで各トピックに割り振られる割合を算出できるため、以下の例ではAとBが近い、ということを計算することが可能です。 ラーメン屋A： [0.75, 0.15, 0.10] ラーメン屋B： [0.60, 0.15, 0.15] ラーメン屋C： [0.0
【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita
はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。 今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。 使用する自然言語処理技術 word2vec 昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現
ニュース記事の分類を機械学習で予測する - Qiita
はじめに Pythonを用いて、ニュース記事の分類分けを教師ありの機械学習にかけて、未知の文章がどのニュース記事にあたるのかを予測する。ということをやってみました。 使うものとしては、 Mecab Gensim scikit-learnのSVM これらを利用しました。 また今回やるにあたり、主にMecabとGensimの利用の辺りを以下のサイトを参考（というよりもはやパクリ）に行ったので、まずはそちらの記事を見ていただいたらと思います。 scikit-learnとgensimでニュース記事を分類する gensimのコーパス操作 環境や各種ツールの説明 環境 OS : windows10 python : 3.6.6 ツール Mecab : 0.996.1 Gensim : 3.5.0 scikit-learn : 0.19.1 Mecabの用意 Mecabは、普段pythonでモジュールの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
