pythonで文章を分類して俺にメールしない． | @DataSci
文章を分類するメモ pythonのgensimというライブラリを使う LDAをつかいます． LDAの解説はberobero先生のここが超詳しいので割愛 Wikiデータを学習させて任意の文章を分類する． この記事を拝見して分類も出来ると便利だ！と思ったので！ 分類教師データのクレンジングと複合語による分かち書き 結局公開するんかーいってことで，下記のスクリプトでクレンジングと分かち書きを一気に行います. # -*- coding: utf-8 -*- import MeCab import re import unicodedata class Cleanser(): def __init__(self): self.patUrl = re.compile("https?://[\w/:%#\$&\?\(\)~\.=\+\-]+") self.patXml = re.compile("<(\
小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm
小説家になろうというWeb小説投稿サイトがあります。 いわゆるライトノベル的な作品が多いのですが、近年書籍化される作品が多く出ていて注目を集めています。 続々と「小説家になろう」から書籍化作品が登場！ - フラン☆Skin はてな支店 小説を読もう！ || 小説ランキング[累計]の上位100件を解析して、どんな作品が多いのか調べてみました。 解析手法 トピックモデルというものを用います。 これは文書が何のトピックを含むかを推定してくれるモデルで、他にもトピックの代表的な単語などもわかります。 Pythonでトピックモデルを使えるライブラリの一つであるgensim: Topic modelling for humansを使います。 gensim gensimはLDAやLSIなど複数のトピックモデルを実装しています。 今回はLDA(Latent Dirichlet Allocation)という
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
