【Python】nlplotで企業特徴を把握できたら最&高じゃないですか？ - Qiita
import json import re import time import pandas as pd import requests from bs4 import BeautifulSoup as bs4 from selenium import webdriver base_url = 'https://www.wantedly.com' def scrape_path(url): """ ストーリー一覧ページからスペース詳細ページのURLを取得する Parameters -------------- url: str ストーリー一覧ページのURL Returns ---------- path_list: list of str スペース詳細ページのURLを格納したリスト """ path_list = [] response = requests.get(url) soup
WordCloudとpyLDAvisによるLDAの可視化について
表題の通り、潜在ディリクレ配分法（LDA; Latent Dirichlet Allocation）によるトピックモデルを学習させて、WordCloud・pyLDAvisで可視化までやってみます。 データセットの用意 今回は日本語でやってみたかったので、以下のlivedoorニュースコーパスを利用させていただきました。 - https://www.rondhuit.com/download.html 日本語のコーパスとしては定番ですね。 ダウンロードしてきた圧縮ファイルを解凍して、各ドキュメントのパスを読み込んでおきます。 import glob import numpy as np import pandas as pd from tqdm import tqdm np.random.seed(0) text_paths = glob.glob('livedoor-news-corpus
Pythonで単語分散表現のクラスタリング - Ahogrammer
最近の自然言語処理では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、加減乗除等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることがわかっています。 本記事では、単語分散表現のベクトルをクラスタリングし、意味が近い単語のクラスタを作ってみたいと思います。 これらのクラスタは、眺めて楽しむだけでなく、機械学習の素性として使うこともできます。 イメージ的には、以下のような感じで単語をクラスタにまとめます。 では、単語分散表現をクラスタリングして、単語のクラスタを作ってみましょう。 準備 まずは、作業用のディレクトリを作成しておきましょう。 また、必要に応じて Python の仮想環境も用意します。 以下のコマンドを実行することで、ディレクトリを用意します。 $ mkdir work
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
