口コミのdoc2vecを用いたリコメンデーションシステムの構築 - Qiita
口コミをdoc2vecにかけてやればその口コミの分散表現が学習できます。 gensimにdoc2vecがあるのでそれを使ってみましょう。 理屈は置いといてまずは試してみるってのが簡単にできるのはほんとありがたいです。 # -*- coding:utf-8 -*- from gensim.models.doc2vec import Doc2Vec from gensim.models.doc2vec import TaggedDocument import MeCab import csv mt = MeCab.Tagger() reports = [] with open("reports.tsv") as f: # reports.tsvには一行に口コミID,口コミがtab区切りで保存されている reader = csv.reader(f, delimiter="\t") for rep
【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita
はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。 今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。 使用する自然言語処理技術 昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現で数値化し、以下の
【 Python gensim 】Doc2Vec を 文書類似度 と 単語類似度 を 個別に演算できるよう改良したコード は、satomacotoさん改良コード が うまく動いた件 - Qiita
HirofumiYashima-no-MacBook:doc2vec_amended hirofumiyashima$ python Python 3.5.2 (default, Jul 23 2016, 14:25:12) [GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-703.0.31)] on darwin Type "help", "copyright", "credits" or "license" for more information. >>> >>> import gensim >>> >>> sentences = [ ... ['human', 'interface', 'computer'], #0 ... ['survey', 'user', 'computer', 'system', 'response', 'time
リクルート式 自然言語処理技術の適応事例紹介
2015/11/20 数理システムユーザーコンファレンス 2015での、池田の講演資料になりますRead less
ライトノベルの感想をDoc2Vecで解析してみた - とある三流プログラマーの覚書
はじめに 前回ラノベの内容紹介をDoc2Vecで解析して遊んでみましたが、あまり面白い結果になりませんでした。 今回はアマゾンレビューなどから収集してきた、ラノベの感想を使ってみます。 感想が近い小説は読み味も近いだろうという予測がたつので、今度こそ好みの小説を探せるようになってほしいです。 方法 トピックモデルのときのラノベのisbnコード一覧を使って、アマゾンレビュー、読書メーター、ブクログあたりから、感想を収集しました。 集めた感想を１つの文書として、gensimのDoc2Vecにかけて、類似度を調べてみました。 全部の感想を収集したわけではないですが、1990年〜2016年3月に発売されたタイトルの感想、約100万件を使っています。 結果 今回もまずは「ソードアート・オンライン」と感想の類似度が高い小説を抽出してみました。 アクセル・ワールド 1 ―黒雪姫の帰還― : 0.5406
Word2Vecの進化形Doc2Vecで文章と文章の類似度を算出する - Qiita
■ doc2vec.pyをカスタマイズ 変更点① デフォルトのdoc2vec.pyだと、レスポンスのときのlabelがカスタマイズできなかったので、 設定したlabelで結果を呼び出せるように変更してみました。 変更点② doc2vec.pyのデフォルトでは、文書の似ているものは？って叩くと、文書も単語も出力されてしまうので、文書の似ている文書だけを出力するメソッドも作成しました。 #!/usr/bin/env python # -*- coding: utf-8 -*- # # Copyright (C) 2013 Radim Rehurek <me@radimrehurek.com> # Licensed under the GNU LGPL v2.1 - http://www.gnu.org/licenses/lgpl.html """ Deep learning via the d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
