スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その１ - Qiita
また、データの格納にmongoDBを使うのでこちらやこちらなどを参考にインストール。mongoDBの概要は「MongoDB の薄い本」などを参照。 PythonからmongoDBにアクセスするため、pymongoも導入します。 from requests_oauthlib import OAuth1Session from requests.exceptions import ConnectionError, ReadTimeout, SSLError import json, datetime, time, pytz, re, sys,traceback, pymongo #from pymongo import Connection # Connection classは廃止されたのでMongoClientに変更 from pymongo import MongoClient from
最強のTwitterクライアント戦争情報 - ✘╹◡╹✘
kkosuge 最強のTwitterクライアント作り始めた - 9mのブログ kkosuge/slack-like-twitter-client r7kamura 最強のTwitterクライアント戦争に参戦 - ✘╹◡╹✘ r7kamura/retro-twitter-client k0kubun ElectronでYoruFukurou風のTwitterクライアントを作った - k0kubun's blog k0kubun/Nocturn airtoxin 最高のツイッタークライアントを求めて airtoxin/twitter-client rhysd rhysd/Stream khrtz ツイッタークライアント「light」を作り始めた - インターネットの人になりたい khrtz/light-twitter-client bokuweb 最強のTwitterクライアント戦争にこっそり
「全てのプログラミング言語は同じだと、ある時気付いたんです」 | POSTD
―iDoneThis社プロダクト責任者 Leif Singerへのインタビュー Leif Singer：日中はスタートアップ企業のプロダクトマネージャ、夜間は研究者 ドイツで育ったLeif氏が選んだキャリアは、ソフトウェアエンジニアリングです。カナダのビクトリア大学にポストを得てからは、いかにして開発者が他の人とコラボレートするかについて研究を始めました。 現在はiDoneThis社でプロダクト責任者の役職に就き、現代的なチームコミュニケーションを形作りつつ、人々がより多くの物事を成し遂げられるよう尽力しています。同社のビジョンや方向性を設定するには、調査を通じて多くのデータを収集しながら、TwitterやBufferなどといった著名な顧客とも対話をする必要があります。 Leifさん、こんにちは。お忙しいところありがとうございます。まずは自己紹介をお願いできますか？ 機会を作っていただきあ
Node.jsでTwitter API v1.1 を叩くには? - barutanGNE's blog
Node.jsで、TwitterのAPIを叩こうと思ったら、結構苦労した。 まだ、納得できる解決策にたどり着いていない。 環境 node v0.10.24 2014年1月31日 Twitter API v1.1とは 2013年6月末に、Twitter APIがv1.0からv1.1に変更された。 Node.jsのTwitterモジュールはいくつかあるんだけど、ソースコードを見ると、いくつかのメソッド(あるいは大部分)がv1.1に未対応だったりして、完全にv1.1に対応しているモジュールを探すのに苦労している。 今回実験したのは、ntwitterとnode-twitterの２つのモジュールが中心だが、どちらもv1.1に完全には対応していない様子。他のモジュールも、ソースコードを見る限り、怪しいか対して便利じゃない。 たどり着いた暫定的な方法 まず結論。 Streaming APIを使う分には、
Twitterの日本人エンジニアに聞く、天才ハッカーと凡人の違い
Twitter社において日本人エンジニアとして活躍するひげぽんこと蓑輪太郎氏が、ITジャーナリストの西村賢氏と対談。勤務の習慣や開発環境、また社内の天才ハッカーが見せる特別な技術などについて語りました。 Twitter開発のテストはローカルで 西村賢氏（以下、西村）：Twitterって巨大な世界的企業で、一般的な開発と全然かけ離れているイメージがあったんですね。今ちょっと驚いたのがRailsでローカル環境でまだやってるということで、ローカル環境、例えば蓑輪さんも入られて最初、Macかなんかで開発するわけですよね。その上に開発環境を整える。 具体的に、例えばデータベースのところはどうするとか、結構この環境構築は大変なんですか、最近、その開発環境とステージングとプロダクションをなるべく近づけろとか、ありますよね、そういうトレンドが。そういう意味で言うと、ローカルTwitterが再現できちゃうと
03 @ 9月 @ 2013 @ ともの技術メモ
#!/usr/bin/python # -*- coding: utf-8 -*- import sys import json import tweepy import re # Account consumer_key= ' ' consumer_secret= ' ' access_token= ' ' access_token_secret= ' ' class Listener(tweepy.streaming.StreamListener): def on_data(self, data): if data.startswith("{"): tweet = json.loads(data) if 'text' in tweet: user = tweet['user'] text = re.sub(r'\n',r' ',tweet['text'].encode('utf-8')
ヤフー、Twitterのつぶやきから電車の遅延情況を知らせる「遅延なう」をリリース なにこの技術すごい
「Yahoo!リアルタイム検索」アプリ（iOS／Android）に、電車遅延情報を知らせる「遅延なう」機能が追加されました。 「遅延なう」は、Twitterの投稿をリアルタイム解析し、電車遅延や運休情報をいち早く知らせる機能です。Twitterの生の声を拾うから、公式発表よりも早いというわけですね。すごい技術だ！ 「Yahoo!乗換案内」とも連携して公式運行情報も提供されるので、堅実派の方も安心。完璧な布陣です。 トップ右下の「遅延なう」ボタンから素早く電車遅延情報をみられます よく使う路線を登録すると、その路線が遅延したときにプッシュ通知する機能も！ Twitter上の遅延に関する投稿も見られるので、詳細な状況が分かります。 情報のソースも見られるので、公式発表よりも詳細に状況が分かるかも 「Yahoo!リアルタイム検索」は、App StoreとGoogle Playから無料でダウンロー
教師なしLDAでTwitterのスパム判別をしてみる(予備実験編) - 病みつきエンジニアブログ
※普通は「教師なしLDA」という言い方はしないです モチベーション 元々は、TwitterからURLつきのツイートを取りたかった。某ニュースアプリがTwitter上で(？)話題になっているニュース記事を(法的な是非があるとはいえ)配信しており、そんな感じのマイニングがしたかった。 ただ、普通に「http,https」でTwitter上で検索すると、量が膨大だった。加えて、ほとんどがスパム。なーにが「このサイトすごすぎｗｗｗｗｗ」じゃ。 ということで、検索の段階でスパミーなキーワードを取り除き、純度の高いURL投稿マイニングをしたいわけだが、キーワードは既知なものには限らない。例えば「無料」とか「アフィリエイト」とかがスパムなのはそうなんだけど、「パズドラ」とか「魔法石」とか、未知のキーワードとか出てきた時に対応できない。 そこで、教師なし学習のアプローチを使って、スパムなキーワードを抽出す
LDAを使って、Twitterでスパムに使われそうな単語を推定する - 病みつきエンジニアブログ
教師なしLDAでTwitterのスパム判別をしてみる(予備実験編) - 病みつきエンジニアブログ の続きになります！ モチベーション 前回の記事で、LDA(latent Dirichlet allocation)のモデルを獲得したので、獲得したモデルを使って「どんな単語がスパムによく使われるのか？」というのを推定しようと思った。 そんなにちゃんとモチベーションない気がする*1。 考えられる使い道は、 スパム判定のルールを作ることができる スパム判定されなさそうな単語を選択することができる(スパマー側の気持ちに立ってｗ) なのかなあ、あんまり使えなさそう。でも、ここらへんの教師データってちゃんとないから、前者は普通にありかなあと思ったり。 推定方法 という式に基いて行っている。順番に説明すると、 は「ある単語がスパムっぽい確率」 は「そもそもスパムが発生する確率」、つまりスパムの事前確率 は
Python で Twitter から情報収集 (Twitter API 編) - Qiita
基本的にプログラムから Twitter のデータ取得、情報発信は下記APIを利用する。 https://dev.twitter.com/rest/public 今回の目的は指定のキーワードで検索して必要な情報を取得することなので、 GET search/tweets を用いる。 https://dev.twitter.com/rest/public/search Twitter 検索 API を利用したサンプルコード tweet_crawler.py #python のハッシュタグで検索し、その結果を出力するプログラムのサンプルコード。 それぞれの関数中で何をやっているかは、Pythonが読み書き出来る人ならわかると思う。 基本的に url, params, oath.get()/oath.post() 辺りを弄れば、 他の Twitter API を使った操作が行えるので遊んでみよう。
Python で Twitter API にアクセス - Qiita
PythonからTwitter APIへのアクセス。Python2, 3両対応。 python-twitter というのもあるけど、基本はHTTP Requestを送ってJSONを得るだけなので、わざわざTwitter専用のライブラリを使うことも無いと思って自分で書いてみた。OAuth認証だけは別途ライブラリ使う。 OAuthのライブラリ Twitterへのアクセスには OAuth認証 というのが必要。 認証方式は非常にややこしいので、凡人はライブラリを使う。 今回は「人間のためのOAuth」をもって自認する Requests-OAuthlib を使う。他のライブラリがどんな生物を想定しているのかは知らない。 アプリケーション登録 Twitter APIにアクセスするにはまずアプリケーション登録が必要。これを済ませると Consumer Key Consumer Secret という2つの
mikutter 3.1の新機能
前のリリースから随分空いたので、そろそろmikutter 3.1の準備をしています。3.1で追加される予定の機能を簡単に紹介します。 Ruby 2.0以降をサポート (1.9.3以前のサポートを停止) mikutter 3.1からはRuby1.9のサポートを終了し、パフォーマンスやらインターフェイスやらの改善のためにRuby 2.0の新機能を積極的に使用します。 Ruby 1.9.3 は既に来年の2月にはサポートを終了すると発表されているので、いいタイミングなんじゃないでしょうか。 リストをデータソースとして提供 listプラグインは、Twitterのリストをデータソースとして提供するようになります。それに伴って、listプラグインによるタブの提供を廃止します。 抽出タブの編集画面でデータソースを見てみると、各アカウントの「list」という要素に、リストが表示されています。データソースなの
TDD(Twitter Driven Datsu-Syoshinsya) / Twitter駆動脱初心者 #yapcasia
YAPC::Asia 2014 Lightning Talks
Twitter REST APIの使い方
今や「インフラ」と表現しても過言ではないほど、多くの日本人が当たり前のように利用しているミニブログサービス、Twitter。この記事では、Twitterが提供するAPIの使い方を、初心者向けに説明しています。ぜひ、素敵なウェブサービスを作って下さいね。 Twitter DevelopersTwitter APIなどを利用する開発者のためのページ。公式リファレンスの確認や、アプリケーションの作成など。アプリケーションの登録APIを利用するために必要な「アプリケーションの登録方法」を紹介します。APIキーとAPIシークレットを取得できます。 アプリケーションとは？よくAPIを利用するのに「アプリケーションを登録して」という言葉が出てきます。このアプリケーションって何でしょう。これは、SNSでいう「ユーザーアカウント」と同じようなものだと考えると、イメージを掴みやすいと思います。 アプリケーショ
FacebookやGoogle、「WebScaleSQL」をオープンソースで公開
米Facebookは3月27日（現地時間）、米Google、米Twitter、米LinkedInと協力し、オープンソースのデータベース「MySQL」のブランチ「WebScaleSQL」をGitHubで公開したと発表した。ライセンスはGNU General Public License Ver.2。 WebScaleSQLは、MySQLを大規模なシステムで使う4社が直面する共通の問題を解決する目的で共同開発したデータベースで、MySQLに大規模な環境への導入に特化した機能を追加したものという。 関連記事 Facebook、新プログラミング言語「Hack」をオープンソースで公開 Facebookが社内で使っているPHPベースのプログラミング言語「Hack」をBSDライセンスで公開した。 Twitter、MySQLの独自ツールをGitHubで公開 Twitterが、オープンソースデータベースMy
Vineによるプロモーション最新事例をパターンで整理してみた｜株式会社アクトゼロ｜プランナーズブログ
2013年1月に、Twitterが提供を始めたマイクロビデオサービス「Vine」。スマートフォン向けアプリで、最長6秒の短い尺の動画を撮影・アップロードして、友人たちと共有できるこのサービスですが、日本でも少しずつ流行しつつあります。 Vineの認知度は10代の世代が22.5％と突出しているのが特徴です。（20代：6.5％、30代：4.2％） この理由としては、”TwitterやFacebookに写真投稿するのと同じ感覚で動画を共有できる手軽さがウケている。” ”6秒間という短尺が、いわゆる「一発ギャグ」をやるのにピッタリで、日本のお笑い文化にフィットしている” 等の意見が見られています。当面、Vineのメインユーザーは、10代～20代前半までの若い世代が中心に加速してくことが予測されています。 （参考：動画共有サービス、「ツイキャス」「Vine」が10代に人気 【6秒動画Vine】JKに
Twitter BootstrapでさくさくWeb開発 : アシアルブログ
<div class="container-fluid"> <div class="row-fluid"> <div class="span4"> Span4の中身 </div> <div class="span8"> Span8の中身 </div> </div> </div> Preタグで囲むコード エンジニアの皆さんなら、ブログにコードを書きたいですよね。 Twitter Bootstrapでも、かっこ良くコードを見せる手法を提供しています。 ・codeタグで囲む 赤くなります。 ・preタグで囲む 囲み枠がつき、灰色になります。 ・Preタグ+Google Prettifyを使う preタグのclassに、prettyprint linenums を入れましょう。 これが超かっこいい！！コードを見せるならこれがよさそうですね！ さて、かっこいいGoogle Prettifyですが、こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterの検索APIについて - メモ帳の裏の切れ端
ggsoku.com
「Twitterアナリティクス」一般ユーザーにも公開、ツイートの反応を解析可能 