はてなキーワードAPIを使って特徴語抽出 - web系な備忘録
ツイートを形態素解析してカテゴリ分類したい！ ということで、簡易的に特徴語のカテゴリを得る方法を考えます。 トピックモデルとかそれらしいアルゴリズムを使うのが本筋かもしれませんが、もっと単純に「芸能ジャンルの単語が多いから芸能ジャンルのツイート」みたいなのでいいんですよね。量も多くないし（1時間最大100ツイート）。 ということで、はてなキーワード自動リンクAPIを使って、文章中のワードのカテゴリを調べていきます。 はてなキーワード自動リンクAPIとは はてなの記事って、それっぽい語句に勝手にリンクが張られてますよね。はてなキーワード自動リンクAPIは、文章を与えると、そのようなリンクを自動で生成してくれるAPIです。 詳細：はてなキーワードAPI - Hatena Developer Center いわゆるリンクを生成するだけでなく、リンクを張るべき単語をxml形式で返してくることもでき
【Python】はてなキーワードAPIを使って特徴語を抽出する - 歩いたら休め
最近、スクレイピングで記事を集めることにハマっているのですが、その記事の中に含まれるトピックなり特徴語なりを簡単にチェックする方法はないかと悩んでました。 例えば、音楽ナタリーから好きなバンドの記事を集めてくる際には、関連リンクのタグを取ってきてアーティスト名を取ってきて、「これは興味のある/ない記事だ」という判別を行っていましたが、この方法はナタリーのサイトでしか使えないし、少しhtmlのタグの名前が変わっちゃうだけで使えなくなります。 頭のいい人ならここから「自然言語処理だ！」「機械学習だ！」「トピックモデルだ！」となると思うのですが、彼らは人生の9割と辞書と学習データの整備に費やしている印象があるので、週末きちんと遊びたい私は別の方法がないか探していました。 そこで、 APIを使って特徴語を抽出する 抽出した特徴語や、そのカテゴリから簡単なルールベースで判別する という方法でうまくい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - takeshi0406/text_to_keywords: Python library to convert Japanese text to words list with はてなキーワード自動リンクAPI
