tweetid から tweet をできるだけ早く集める方法 (72000 tweets / hour) - Qiita
環境 MacOS, Linux python v3.4.3 PHP v2.5.0 概要 データの配布が tweetid での配布ということはよくありますが、Twitter のクロールには制限があり、集めるのが面倒であることが多いです。今回は tweetid から tweet を集める方法を紹介します。 使うのはGET statuses/lookupという公式で発表された tweet を1リクエストあたり 100 件もってきてくれるやつです。（詳しいことはわかりません） クロールには Twitter のアカウントが必要 ご存知の方も多いと思いますが Twitter のクロールにはアカウントが必要になります。更にTwitter developersにて以下の4つの情報を入手する必要があります。このあたりは説明が転がっていますので各自集めて下さい。 Consumer Key (API Key)
Project 311/トレンド分析 - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / Project 311 / トレンド分析 3 秒後に Project 311/Trend Analysis に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artifici
Twitterの過去履歴を消去するtwdelを書いた - limitusus’s diary
今まで数多くのTwitterクライアントアプリが書かれてきて、誰もが様々な方法で手軽にPOSTできるようになっている。 一方、過去の自分の歴史を抹消したいと考える需要もあるにもかかわらず、その需要に応えるアプリケーションは見当たらない。 そこで、今回 twdel というアプリケーションを実装した。 limitusus/twdel - Github 細かい必要モジュールなどはREADME.mdを読んでもらうとして、使い方は至って簡単である。 ./authenticate によってOAuth認証を行い、アクセストークンとアクセスシークレットを記録する（パスワードはもちろん保持しない）。 認証をやり直すときはいつでもこのコマンドを実行できる。基本的には最初の1回だけ。 ./twdel によって実際の消去を実行する。デフォルトではAPIの許す限り、2ページ目から100ページ目まで（0-origin
Storm: distributed and fault-tolerant realtime computation
Storm is a distributed real-time computation system that provides guaranteed message processing, horizontal scalability, and fault tolerance. It allows users to define data processing topologies and submit them to a Storm cluster for distributed execution. Spouts emit streams of tuples that are processed by bolts. Storm tracks processing to ensure reliability and replays failed tasks. It provides
atig.rb - Another Twitter Irc Gatewayをつくってみたよ - みずぴー日記
特徴 TwitterをIRCクライアントで見れるようにするGatewayです。 IRCクライアントさえあればいいので、CUIでもGUIでも使えます。 Rubyで書いたので、大抵のOSで動くと思います。 Listごとにチャンネルが分かれます。 OAuth使っています。 API制限が緩和されて、一時間あたり350回のAPIが使えます。 id:cho45さんのGitHub - cho45/net-irc: Ruby IRC library (Client, Server and many IRC gateways to webservice)のコードを流用しています。あざっす。 ただし、各機能をクラス単位で整理しました。一部の機能の無効化が簡単にできます。http://mzp.github.com/atig/config.html 過去の発言をメモリ上でなくSQLiteで保持するようにしました。
RでTwitter - yokkunsの日記
最近、何故かRという統計・解析用のプログラミング言語を使っているんですが、何となく、CRAN（perlのCPANみたいなやつ）を眺めてたら、twitteRというパッケージを発見した。 CRAN - Package twitteR インストールと読み込み > install.packages("twitteR") > library("twitteR") 認証がいらないやつ public_timeline > head( publicTimeline() ) [[1]] [1] "DeadEmptyHeart: @LeleClearwater_ Are u jealous or something?" [[2]] [1] "encopan: @mobaweb なにこのあいこんかわえええええ！" [[3]] [1] "ZoO_CreW_HeF: RT @LiQMYJUiCEBOx: I nee
Twitterのreplyを携帯にメール送信するスクリプトをRubyで書いた。 - hagino3000's blog
殴り書き。送信メールサーバーはGmailを使った。自分に ml_on/ml_off というreplyを飛ばす事でON/OFFを切りかえる様にした。 require 'rubygems' require 'twitter' require 'twitter/console' require 'json' require 'time' require 'yaml' require 'tmail' require 'tlsmail' gem('twitter4r','0.3.1') def log(msg) puts Time.new.to_s + ' ' + msg end module Gmail def Gmail.get_content(from_address, to_address, subject=nil, body=nil) content = TMail::Mail.new c
Rのtwitterクライアント使ってフォローしている人を分類してみた - sheephead
Rのtwitterクライアント使ってフォローしている人を分類してみた 2009.07.27 【統計】R twitter ESS, google, twitter, ubuntu とりあえず使ってみる というわけで、早速インストール。ちなみに、ubuntuの場合は、Rcurlのインストールにlibcurl4-gnutls-devがいるみたいなので先にapt-getでいれときましょー [cpp] install.packages("RCurl") install.packages("twitteR") [/cpp] 使うときに少しハマったのがproxyの設定。実はtwitteRではproxyの設定ができないのです。ただ、twitteRで設定を保存するinitSession()は、RcurlのgetCurlHandle()のラッパーなので、getCurlHandle()でproxyを設定すれば良
【更新あり】モバツイiPhoneアプリ「iMovatwitter」がリリースされました | モバツイ開発者blog
モバツイッターをiPhoneで利用するアプリ「iMovatwitter」がリリースされました。 iPhoneでもモバツイ iMovatwitter iPhoneのブラウザでは不可能な「写ツ」と「イマココ」を実現したモバツイッターの専用クライアントです。 単体クライアントアプリではできないサーバ連携による過去ログ検索や各種機能をご利用いただけます。 携帯百景を含む写ツや他の写真アプリの写真を簡単にアップロードすることを意識して作っております。 是非、iPhoneでもモバツイッターをよろしくお願いいたします。 機能改善については随時対応していきたいと思っておりますので、@fshin2000までご意見いただけますと大変ありがたいです。 ---------- 訂正および追記： iMovatwitterの無償版を別途提供するつもりでしたが、有償版を購入いただいた方へのアップデートなどに開発リソースを
Twitterのタイムラインを監視してキーワードにマッチしたらGrowlするRubyスクリプト - 今日覚えたこと
Macで使えるTwitterのクライアントで、自分にあった良いものがなかなか見つからない。 いろいろ試した中では、TIGとLimeChatの組み合わせがなかなか良かったけど、ほんの少し細かいところで物足りなかった。 そこで、自分で作ってみた。同種のスクリプトを作った人は多数いると思うけど、気にしない。 twittertail.rb Rubyで書いた。コードは以下。 require 'rubygems' require 'twitter' require 'ruby-growl' require 'yaml' require 'cgi' $KCODE = 'UTF8' config = YAML.load(STDIN) growl = Growl.new('localhost', 'twitterclient.rb', ['notify'], nil, nil) twitter = Twit
Fork: Twitterのタイムラインを監視してキーワードにマッチしたらGrowlするRubyスクリプト - Slow Dance
Twitterのタイムラインを監視してキーワードにマッチしたらGrowlするRubyスクリプト - 今日覚えたことが面白そうだったので、参考にして書いてみた。 機能 タイムラインを見てターミナルに表示 キーワードを設定して、キーワードにマッチしたつぶやきをGrowl で通知 使い方 1.「twittertail.yml」というファイルをスクリプトと同じディレクトリに作成 username: twitter のID password: twitter のパスワード interval: 更新頻度(秒) keywords: - チェックしたいキーワード1 - チェックしたいキーワード2 ... - チェックしたいキーワードN 例 twittertail.yml.example username: lukesilvia password: hogehoge interval: 60 keyword
TwitterのフォローグラフをRで描画してみる - Okiraku Programming
Twitterでフォローしている人同士を線で結んだグラフ（フォローグラフ）を、一部で流行り(?)のR言語で描いてみます。 手順。 1. Twitterのフォロー関係を取得する。 今回は自分がフォローしている230人ほどのTwitter-erについて、それぞれフォローしている人をTwitterのWebページをスクレイピングして取得しました。 curlを使ったシェルスクリプトとperlの1-linerで (for x in ha_ma sudori syou6162 ; do echo $x ; done) | perl -ne 'print "*$_\n"; chomp; $x = $_; $flag = 1; for($i = 1; $flag; $i++) { $get = `curl -s -u USER:PASSWORD http://twitter.com/$x/followers
ターミナルからtwitterへポストするgaucheスクリプト - yaotti's diary
かいた。 #!/usr/local/bin/gosh (use rfc.http) (use rfc.base64) (define (main args) (let* ((username (cadr args)) (passwd (caddr args)) (status (cadddr args)) (basic-info (string-append "Basic " (base64-encode-string (string-append username ":" passwd))))) (define (twitter-post status) (http-post "twitter.com" "/statuses/update.xml" #`"status=,status" :Authorization basic-info)) (twitter-post status))
TwitterIrcGateway と Tiarra を使ってみる
TwitterIrcGateway と Tiarra を使ってみる TwitterIrcGateway（以下、TIG）を使うと IRC 経由で Twitter を利用出来るということなので試してみました。あらかじめ TIG の Windows 版をダウンロードしておきます。 まずは手元の MacBook Pro で動かしてみました。 Windows 版の TIG を Mac で動かすために Mono をインストール。ダウンロードページから Mac 用のインストーラーをダウンロードしてインストールします。ターミナルから以下のように TIG を起動します。 yosshi@~: mono [PATH_TO_TIG]/TwitterIrcGatewayCLI.exe --encoding=utf-8 --ignore-watch-error=true --interval=90 & yosshi@
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
第12回 仕事にも使える！Twitter とウェブアプリケーションの連携術 | gihyo.jp
いま、この瞬間にも私のデスクトップの隅では小さなクライアントアプリのなかで、リアルタイムに何百という人たちが互いに自分の近況を通信し合ったり、最新のニュースを共有したり、たんに思いついた事をつぶやいています。140字制限の「つぶやき」をリアルタイムで共有するサービス、それがTwitterです。 Twitterは昨年嵐のようにネット界を席巻し、この春には日本語化もされ、すっかり定着した感がありますが、一方でこうしたサービスがいったい何の役に立つのがわからないという人もおおぜいいることと思います。 というのも、一見しただけではTwitterは「おなかがすいた」「疲れた」といった雑音が多いだけの意味の無い場所のように思えるからです。馴染んでみると、こうした他愛もない話題でつながることができることこそがTwitterの魅力なのですが、ただ受動的に使っているだけでは、たしかに貴重な時間と集中力を吸
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
atig.rb : Another Twitter Irc Gateway — atig.rb v1.0a documentation
GitHub - penguinco/yats-socialgraph-dump: twitter(ja) social graph dump from yats
Sorry, the website has been stopped