【Python】はてなキーワードAPIを使って特徴語を抽出する - 歩いたら休め
最近、スクレイピングで記事を集めることにハマっているのですが、その記事の中に含まれるトピックなり特徴語なりを簡単にチェックする方法はないかと悩んでました。 例えば、音楽ナタリーから好きなバンドの記事を集めてくる際には、関連リンクのタグを取ってきてアーティスト名を取ってきて、「これは興味のある/ない記事だ」という判別を行っていましたが、この方法はナタリーのサイトでしか使えないし、少しhtmlのタグの名前が変わっちゃうだけで使えなくなります。 頭のいい人ならここから「自然言語処理だ！」「機械学習だ！」「トピックモデルだ！」となると思うのですが、彼らは人生の9割と辞書と学習データの整備に費やしている印象があるので、週末きちんと遊びたい私は別の方法がないか探していました。 そこで、 APIを使って特徴語を抽出する 抽出した特徴語や、そのカテゴリから簡単なルールベースで判別する という方法でうまくい
Scrapy, はてなブックマークAPIで件数やコメントを一括取得 | note.nkmk.me
はてなブックマークAPIを使うと、特定のURLのブックマーク数や詳細情報（ブックマークした日時やユーザー、コメントなどの一覧）をシンプルなGETリクエストで取得できる。 はてな API一覧 - Hatena Developer Center 指定したURLとそれ以下のパスのURL（＝指定したサイト内のURL）のブックマークの詳細情報はScrapyと組み合わせると一括で取得できる。ブックマークの合計数はAPIで取得可能。 以下の内容について説明する。 はてなブックマークAPIの種類と使い方 はてなブックマーク件数取得API はてなブックマークエントリー情報取得API はてなブックマークWebページで取得できる情報 Scrapyでクローリング・スクレイピング サイト内のURLのブックマーク数を一括取得 サイト内のURLのブックマーク日時・コメントなどを一括取得 pandasによる分析 なお、サ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
結城浩のはてな日記 - はてな認証API / ためしに作ってみました
はてな認証APIが公開されましたので、ためしてみました。 懸念事項 なおやさんところ経由ではてな認証APIの公開について(開発者さま向け)を読んで感じたこと。 おそらくすぐに「はてな認証APIで○○を作ってみました」的なものが登場するでしょう。おもしろいアプリが登場することを期待。 ただし、一般ユーザにきちんと認識させないと、悪意のある第三者が一般ユーザのパスワードを奪うアプリを作ってしまう危険性があります。たとえば「はてな認証APIを利用しています」と偽って、「ログイン名とパスワードを入力させるフォーム」を見せるアプリが出た場合、ユーザは誤解しないか。 それから…解説した図がほしいです。→認証部分のシーケンス図は結城が描きました(このエントリの下の方で公開しています)。 結城さんちのはてな認証APIテスト 追記：2006-04-24 21:09: とりあえず、作ってみました。以下をお試し
Python 用はてな認証API モジュール 01:42
http://da.pekori.to/hatena/hatena_auth.py使い方は Hatena::API::Auth と同じにしたつもり。 #!/usr/bin/env python class Auth(object): LOGIN_URL = "http://auth.hatena.ne.jp/auth" API_URL = "http://auth.hatena.ne.jp/api/auth" def __init__(self, api_key, secret): self.api_key = api_key self.secret = secret def uri_to_login(self): params = {"api_key": self.api_key} params["api_sig"] = self.api_sig(params) return "%s?%
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - takeshi0406/text_to_keywords: Python library to convert Japanese text to words list with はてなキーワード自動リンクAPI
GitHub - sakamoto777/hotentry-sa: ホッテントリ感情分析
