スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その２ - Qiita
前回の記事、スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その１ではツイッターのREST APIsを使ってツイート本文に「スタバ」と書かれているツイートを大量に取得してデータベースにインポートするところまでやりました。今回はそのデータの中身を見ていきたいと思います。 その１：Twitter REST APIsでデータを取り込みmongoDBにインポート http://qiita.com/kenmatsu4/items/23768cbe32fe381d54a2 その２：取得したTwitterデータからスパムの分離（今回） http://qiita.com/kenmatsu4/items/8d88e0992ca6e443f446 その３：ある日を境にツイート数が増えたわけは？ http://qiita.com/kenmatsu4/items/02034e5688
スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その１ - Qiita
また、データの格納にmongoDBを使うのでこちらやこちらなどを参考にインストール。mongoDBの概要は「MongoDB の薄い本」などを参照。 PythonからmongoDBにアクセスするため、pymongoも導入します。 from requests_oauthlib import OAuth1Session from requests.exceptions import ConnectionError, ReadTimeout, SSLError import json, datetime, time, pytz, re, sys,traceback, pymongo #from pymongo import Connection # Connection classは廃止されたのでMongoClientに変更 from pymongo import MongoClient from
About X | Our company and priorities
<path opacity="0" d="M0 0h24v24H0z" /> <path d="M17.207 11.293l-7.5-7.5c-.39-.39-1.023-.39-1.414 0s-.39 1.023 0 1.414L15.086 12l-6.793 6.793c-.39.39-.39 1.023 0 1.414.195.195.45.293.707.293s.512-.098.707-.293l7.5-7.5c.39-.39.39-1.023 0-1.414z" /> </svg>" data-icon-arrow-left="<svg width="28px" height="28px" viewbox="0 0 28 28" version="1.1" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://ww
Twitterの検索演算子（パラメータ）一覧
Twitterでつぶやかれている内容を検索する時に、演算子（パラメータ）なるものが用意されています。 この演算子を知る事で、Tiwtterのツイートをより早く検索する事が出来るようになります。 今回は、Twitterで用意されている演算子を、検索例とともに紹介していこうと思います。 Twitterの検索演算子（パラメータ）のまとめlang:ja「lang:ja」と検索すると、日本語のツイートだけを表示する事が可能です。他の言語のツイートが紛れ込んでいる時には、lang:という演算子を利用してみてください。 例えば、iPhoneは様々な国で使用されているので、日本でのツイートだけ検索したければ、「iPhone lang:ja」といった感じです。 なお、lang:jaの部分を変更すると、他の言語に絞って検索する事も出来ます。 lang:en→英語lang:ko→韓国語lang:zh→中国語la
Twitter Streaming APIをRubyで試してみる - しばそんノート
Streaming APIとは TwitterのStreaming APIをご存知でしょうか。 Twitter API Wiki / Streaming API Documentation 2009年4月頃から試験的に公開されているAPIなので、ご存知な方も多いと思います。2009年8月現在でまだαテスト中ですが、これを利用すると、push型でリアルタイムに情報を受け取ることができます。 TwitterのAPIは基本的にpull型なので、クライアントが能動的にリクエストを発行しなければ情報を受け取ることができません。しかし、1時間あたりのリクエスト回数、1リクエストあたりの最大データ数など、APIには様々な制限がかけられていますので、例えばリアルタイム性の必要なプログラムや、大量のtweetsが必要な統計プログラムなどの用途で通常のAPIを利用するのは厳しいものがあります。 そのような時は
Effective Scala
Effective Scala Marius Eriksen, Twitter Inc. marius@twitter.com (@marius) [translated by Yuta Okamoto (@okapies) and Satoshi Kobayashi (@scova0731)] Table of Contents 序章 書式: ホワイトスペース, 命名, インポート, 中カッコ, パターンマッチ, コメント 型とジェネリクス: 戻り型アノテーション, 変位, 型エイリアス, 暗黙 コレクション: 階層, 使う, スタイル, 性能, Java コレクション 並行性: Future, コレクション 制御構造: 再帰, Return, forループと内包, require と assert 関数型プログラミング: 代数的データ型としてのケースクラス, Option, パターンマ
【これはすごい】Twitter検索を3倍高速化した記事の翻訳 - nokunoの日記
これはすごい！ というわけでTwitter検索を3倍高速化したという記事を翻訳してみました。Twitter Engineering: Twitter Search is Now 3x Faster2010年春。Twitterの検索チームは、我々の増え続けるトラフィックに対応し、エンドユーザにとっての遅延を減らし、我々のサービスの可用性を向上させ、新しい検索の機能を素早く開発できるようにするため、検索エンジンを書きなおす作業を始めた。 その努力の一部として、我々は新しいリアルタイム検索をリリースし、検索のバックエンドをMySQLからLuceneのリアルタイム版に変更した。そして先週、我々はRuby-on-Railsに取って代わるフロントエンドをローンチした。我々がBlenderと呼ぶJavaサーバーである。我々はこの変更によって検索のレイテンシが3分の1になり、検索機能の開発を促進できるよう
iPhone 用の画像ダウンロードライブラリ ImageStore を公開 - Windchase
iPhone 用の画像ダウンロードライブラリ、ImageStore のソースコードを公開します。 http://github.com/psychs/imagestore/tree/master ライセンスは、New BSD ライセンスです。 使い方 まず、ImageStore を初期化して、インスタンス変数に保持しておきます。 imageStore = [[ImageStore alloc] initWithDelegate:self];そして、画像をダウンロードしたくなったら、getImage を呼び、画像の URL を渡してやります。 [imageStore getImage:imageUrl];getImage の呼び出しはすぐに戻り、ImageStore は裏で非同期に画像のダウンロードをはじめます。 ダウンロードが終わると、delegate の imageStoreDidGetN
コマンドラインで動作するTwitterクライアントを30分くらいで作れるPythonはかっこいい - YAMAGUCHI::weblog
はじめに こんにちは、Python界のほぼ日手帳です。RSSリーダーを眺めてたら、なんかPythonを使ってTwitterのコマンドラインアプリを作る見たいのがはやってたみたいなのでまぜてまぜてー。というわけで書きました。 リンク tw.pyを少し拡張してみた - へにゃぺんて＠日々勉強のまとめ 良いもの。悪いもの。: コマンドラインで動作するOAuth対応TwitterクライアントをPythonで作ってみた とりあえず作り散らかした ymotongpoo/TwCmd · GitHub forkでもspoonでもなんでもしてください。 準備 Pythonライブラリ 最近はPyPIに便利パッケージが増えましたね、めでたいめでたい。Twitterでタイムライン取得や発言をするだけならtweepyが便利だぜ。OAuth 1.0対応。あとコマンドラインアプリケーションは標準モジュールのcmdモジュ
Twitterの@付き投稿が仕様変更 - SEO辻正浩のブログ
大変多くの方にTwitterやはてブでご紹介頂きました。ありがとうございます！ 分りづらいなどの声がありましたので、「返信」扱いのタイムラインに現れるツイートの条件など、TwitterのRT・返信についての詳細情報を書きましたので、よろしければご覧下さい。 Twitterの仕様変更が10月頭に行われた模様です。 この仕様変更は、Reply、@付き投稿についてのもの。微妙な変化がありますが、非公式RTを使っている人には大きな変化ですので、ちょっと調べてまとめてみました。 まずはこの画像を御覧ください。 左が私のアカウントから見た私の4つの連続したツイートです。右は、この４ツイートを他アカウントから見た状態です。 普通のツイート、公式RT、非公式RT、普通のツイートと４つツイートしたはずですが、他アカウントから見ると、非公式RTがTLから抜けて３ツイートになっています。 この例のように、@付き
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
ウノウラボ Unoh Labs: PECL::oauthでxAuth
yamaokaです。 TwitterのBasic認証によるユーザー認証が6月に廃止されるようですね。 認証はOAuthで行ってください、とのことなのですが OAuthの認証画面を表示するためにブラウザを起動するのがふさわしくないケースや、 そもそも貧弱なブラウザでうまく利用できないケースもあります。 そうした場合の解決方法として、xAuthという仕組みがTwitterに実装されています。 詳しくは次に紹介するweb上の記事を参照してください。 s-take Blog.: Twitterによる簡易版OAuth: "xAuth" OAuthでデスクトップアプリがブラウザを経由させたくないときのxAuth - Codin' In The Free World the.hackerConundrum: Sneak peek at Twitter's browserless OAuth creden
140行で作る分散リアルタイム検索エンジン（Twitter Streaming API対応） - 古橋貞之の日記
マトモに使えるRPCライブラリ MessagePack-RPC for Ruby のバージョン 0.2.0 をリリースしました！ 新たにコネクションプーリングの機能を追加しました。一度接続したコネクションを共有して使い回すことができます。コネクションを何度も張り直す負荷と遅延を削減でき、リソースの消費も抑えられます。 また、不意に切断されたコネクションを自動的に再接続する機能を導入し、信頼性を向上させています。 これを使って何か作ってみようと言うことで、twitterのリアルタイム検索エンジンを作ってみました。日本語を検索できないなど機能は貧弱ですが、プログラム全体がわずか140行に収まっています（クローラ27行、インデクサ48行、クラスタ管理ノード37行、検索クライアント28行）。 新しいつぶやきを受信するたびに、リアルタイムで転置インデックスを作成していきます。インデックスを作成するノ
MGTwitterEngine - Twitter from Cocoa - Matt Gemmell
TOLL is available now! An action-thriller novel — book 2 in the KESTREL series. ★★★★★ — Amazon Update: If you’re looking for information on getting MGTwitterEngine working with xAuth, please read this tutorial! Ever wanted to integrate Twitter support into your Cocoa app? I know I did. Enter MGTwitterEngine, available as always from my Cocoa Source Code page. (Oh, and I’m “mattgemmell” on Twitter,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
system.objectdisposedexception-cannot-access-a-disposed-object.--getting-linq-to.aspx
Twitter Streaming APIを叩いて、Geoタグ付きのツイートを収集するPythonスクリプト
Twitter clients - Tuiter example
TechCrunch | Startup and Technology News
English (US)
TechCrunch | Startup and Technology News