スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その１ - Qiita
from requests_oauthlib import OAuth1Session from requests.exceptions import ConnectionError, ReadTimeout, SSLError import json, datetime, time, pytz, re, sys,traceback, pymongo # from pymongo import Connection # Connection classは廃止されたのでMongoClientに変更 from pymongo import MongoClient from collections import defaultdict import numpy as np KEYS = { # 自分のアカウントで入手したキーを下記に記載 'consumer_key':'**********',
03 @ 9月 @ 2013 @ ともの技術メモ
#!/usr/bin/python # -*- coding: utf-8 -*- import sys import json import tweepy import re # Account consumer_key= ' ' consumer_secret= ' ' access_token= ' ' access_token_secret= ' ' class Listener(tweepy.streaming.StreamListener): def on_data(self, data): if data.startswith("{"): tweet = json.loads(data) if 'text' in tweet: user = tweet['user'] text = re.sub(r'\n',r' ',tweet['text'].encode('utf-8')
教師なしLDAでTwitterのスパム判別をしてみる(予備実験編) - 病みつきエンジニアブログ
※普通は「教師なしLDA」という言い方はしないです モチベーション 元々は、TwitterからURLつきのツイートを取りたかった。某ニュースアプリがTwitter上で(？)話題になっているニュース記事を(法的な是非があるとはいえ)配信しており、そんな感じのマイニングがしたかった。 ただ、普通に「http,https」でTwitter上で検索すると、量が膨大だった。加えて、ほとんどがスパム。なーにが「このサイトすごすぎｗｗｗｗｗ」じゃ。 ということで、検索の段階でスパミーなキーワードを取り除き、純度の高いURL投稿マイニングをしたいわけだが、キーワードは既知なものには限らない。例えば「無料」とか「アフィリエイト」とかがスパムなのはそうなんだけど、「パズドラ」とか「魔法石」とか、未知のキーワードとか出てきた時に対応できない。 そこで、教師なし学習のアプローチを使って、スパムなキーワードを抽出す
LDAを使って、Twitterでスパムに使われそうな単語を推定する - 病みつきエンジニアブログ
教師なしLDAでTwitterのスパム判別をしてみる(予備実験編) - 病みつきエンジニアブログ の続きになります！ モチベーション 前回の記事で、LDA(latent Dirichlet allocation)のモデルを獲得したので、獲得したモデルを使って「どんな単語がスパムによく使われるのか？」というのを推定しようと思った。 そんなにちゃんとモチベーションない気がする*1。 考えられる使い道は、 スパム判定のルールを作ることができる スパム判定されなさそうな単語を選択することができる(スパマー側の気持ちに立ってｗ) なのかなあ、あんまり使えなさそう。でも、ここらへんの教師データってちゃんとないから、前者は普通にありかなあと思ったり。 推定方法 という式に基いて行っている。順番に説明すると、 は「ある単語がスパムっぽい確率」 は「そもそもスパムが発生する確率」、つまりスパムの事前確率 は
Python で Twitter から情報収集 (Twitter API 編) - Qiita
# !/usr/bin/env python # -*- coding:utf-8 -*- from requests_oauthlib import OAuth1Session import json ### Constants oath_key_dict = { "consumer_key": "xxxxxxxxxxxxxxxxxxxx", "consumer_secret": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "access_token": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "access_token_secret": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" } ### Functions def mai
Python で Twitter API にアクセス - Qiita
PythonからTwitter APIへのアクセス。Python2, 3両対応。 python-twitter というのもあるけど、基本はHTTP Requestを送ってJSONを得るだけなので、わざわざTwitter専用のライブラリを使うことも無いと思って自分で書いてみた。OAuth認証だけは別途ライブラリ使う。 OAuthのライブラリ Twitterへのアクセスには OAuth認証 というのが必要。 認証方式は非常にややこしいので、凡人はライブラリを使う。 今回は「人間のためのOAuth」をもって自認する Requests-OAuthlib を使う。他のライブラリがどんな生物を想定しているのかは知らない。 アプリケーション登録 Twitter APIにアクセスするにはまずアプリケーション登録が必要。これを済ませると Consumer Key Consumer Secret という2つの
twitterのtrends取得 - メモ置き場
入門ソーシャルデータを読んでみてます。 p6にtwitterのtrendsを叩いて結果を取得するサンプルコードが示されてますが、api側の仕様変更で動かなくなっているようです。 https://github.com/sixohsix/twitter/issues/56 import twitter twitter_api = twitter.Twitter(domain="api.twitter.com", api_version='1') trends = twitter_api.trends() print([trend['name'] for trend in trends]) 以下のようにすることで、結果を取得できました。 import twitter twitter_api = twitter.Twitter() WORLD_WOE_ID = 1 world_trends = t
pythonでtwitterのStreaming APIを使ってみた – taichino.com
twitterのように更新頻度が高いサービスのAPIはポーリングとあまり相性がよくありません。どうせtwitter API使うプログラム書くなら、リアルタイムなイベントベースっぽいAPIの方が色々と都合が良いので調べてみました。なんとなくXMPPに対応してる気がしてたんですが、実際はStreaming APIという独自のインターフェースが用意されていました。 Streaming API自体はただのHTTPリクエストで、リクエストのコネクションを張りっぱなしにして、都度データが流れてくる様な形になります。見るからに相性が良さそうなのでgeneratorで書いてみました。この例では幾つか種類があるStreaming APIの中からfilterを使っています。 #!/usr/bin/python # -*- coding: utf-8 -*- import sys import base64 i
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
