Twitter Streaming APIをMongoDBに保存して遊んでみる
TwitterのストリーミングAPIを利用する場合、かなりのデータ量が流れてくるので、リアルタイムに解析・集計などを行うと処理が追いつかない可能性が出てきます。 そこで、流れてきたデータをいったんどこかに保存しておいて後からバッチ処理で解析をしていく事になると思います。今回はその保存先にMongoDBをチョイスします。 なぜMongoDBなのか# RDBMSに比べて高速 BSON形式で保存するので、JSONの階層構造をそのまま維持して保存可能 NoSQLながらGROUP BYライクな集計処理が可能 ということで、試しにストリーミングAPIのsampleから流れてくるデータをMongoDBに保存するスクリプトを書いてみました。このスクリプトを動かすには、別途MongoDB本体と「json」「bson_ext」「mongo」の3つのgemが必要になります。 # coding: utf-8 #
Ruby で高速に OAuth で認証して アクセス する方法 - Candy
結論から言うと、強力な CPU と大容量のメモリを用意して Thread を大量に作るのが一番速い。 ださいことこの上無いが、これが速いんだから仕方ない。 def self.post tokens = [] User.all.each do |u| tokens << OAuth::AccessToken.new(consumer, u.token, u.secret_token) end tokens.each do |a| @t = Thread.start do res = a.post('/statuses/update.json', {:status => "なるほど四時じゃねーの"}) rescue nil end end @t.join end こんなの。本当にださいのだけど、これで十分なのだからしょうがない。というか Ruby でやる限りこれが一番速い。うちのそれなりのサー
tkmr2000の日記 Twitterで勤怠管理のするためのRubyスクリプト
伊集院光がTwitterを始めたらしい。 確かブログを自分にしか見えないようにして書いてるとか冗談でラジオで 言っていたし、本を書いたりは何度も推敲してしまいたので大変と言って たけど、Twitterなら140文字だから、生のラジオみたいな感 じでやりやすいとかな？ 漫画家の安倍さんがさっそく交流をしてたりして、この化学反応が何か面 白いなあ 音声認識でブログを書くテスト iPhoneの音声認識メールアプリを使ってメールで投稿。 最近、とりあえずkindleを手に入れたので、次は裁断機を、入れよ うと思う。 あとkindleに日本語ハック入れて、とりあえず日本語表示できるよ うにしよう。 これ音声認識とキーボードどっちか早いのかな？ご認識を修正するでもと ころ考えたらキーボードの方が有利な気がする。 逆にiPhoneみたいに入力が少し遅い端末だったら結構便利な気もす る、まあ慣れるとiPh
Twitterで勤怠管理のするためのRubyスクリプト:TKMR.blog.show
作ってみた↓ http://d.hatena.ne.jp/tkmr2000/ しかしあれだねTwitter面白いね、まさにライフログ。ライフログって実際に体験するまではぴんとこなかったけど ・世界中の人が「今なにやってる？」か眺めるTwittervision.comとか ・今世の中の人が何に興味があるのか、眺めるbuzztterとか なんか、色々と見ると面白いな〜と思う。まさか普通の人の「飯を食った」や「風呂に入った」なんて言う情報が価値を持つなんて思わなかったけど、実際に見てみると面白いね。 あと休日なのに仕事した、優雅にDVD見ながら漫画読みながら、リモートでチェックイン！なんか無駄に疲れたなー。 "時をかける少女 通常版" (細田守) 「時をかける少女」は評判が良かったのでだらだら見てみたけど普通に面白かった、東浩紀のブログが判りやすい。RPGゲームをやっていると強いボスが出てきて全
TwitterのAPIでRailsのActive Resouceを試してみる:TKMR.blog.show
昨日のスクリプトを書いていて思ったけど、TwitterのAPIってRESTだよね（完全にではないけど）、これってActiveResourceでアクセスすれば簡単だったの？と思った。ということでActiveResourceの勉強もかねて試してみた、結果としては慣れればかなり楽、「Postクラスは暗黙的にPostテーブルを見る」のように命名規則に従ってスマートにWebサービスへアクセスすることができる、SOAPのWSDLみたいな型定義を準備する必要ないのは良いよね。ActionWebServiceですら型定義が結構めんどくさいしね。 あとついでに昨日のスクリプトをWebサービスにしてみよう まず新しいRailsアプリを作る（今回はTwittとかで）、そこに最新のEdgeなRailsを落としてくる rails twitt cd twitt/vendor/ sudo svn co htt
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
rubyneko - 最小構成なtwitterクローンを作ってみよう(1)
