検索結果スクレイピング＆doc2vecで企業の業種分類（1） - Qiita
アドテク企業に転職したら、顧客の業種分類コードが存在していませんでした。集計で関連業種を目視でピックアップしたらえらく時間がかかってしまったので、今後のためにアドテク的に自動分類する方法を考えました。 手元には顧客名と配信した広告のLPのURLしかありません。 どんなクラスタ数になるのかもよくわからないので、企業を説明する文章を外部から取得しベクトル化したうえで、デンドログラムで階層化するのが今回のゴールです。 今回の構成 Google検索結果からのサイトURLの取得＆検索結果テキストの取得（beautifulsoup）←いまココ Doc2vecでベクトル化 デンドログラム作成 Google検索結果からのサイトURLの取得＆検索結果テキストの取得 技術的には使い古されているのですが、実際に検索結果のテキストを使おうとするとノイズの少ないデータを取ってくるのが結構難しいので、参考になれば幸い
【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita
はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。 今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。 使用する自然言語処理技術 昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現で数値化し、以下の
Word2vec や fastText を Java のコードに適用して “add + map - list = put” のような結果を得たい - 朝日ネット 技術者ブログ
はじめに 開発部の tasaki です。 2013 年の Word2vec や 2016 年の fastText など、自然言語処理の分野には単語をベクトル（分散表現）に変換する手法がいくつかあります。 一旦分散表現に変換してしまえば加減算などの線形代数的な操作、 例えば “king - man + woman = queen” （王から男性を引き算し、女性を足し算すると女王になる）というような単語同士の演算が可能となります。 これを自然言語ではなくプログラムのコード（を元にした文書）に適用すればどうなるかということが気になったので gensim という Python のライブラリを使って実装をしてみました。 はじめに 動作確認環境 全ソースコード Java のコードを文書に変換する gensim を使う 実行例 対象 Word2vec fastText おわりに 採用情報 動作確認環境
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
