YAPC::Asia 2010 Twitter解析サービス
This document describes the architecture of a Twitter scraping application. It uses Gearman for asynchronous job processing to fetch Twitter data from the API or stream. Workers register fetch jobs and process the requests. The application includes modules for the CLI, reader, and streaming components and uses JSON and LWP libraries. It retrieves tweets and stores them in a database for analysis.R
cohtan blog: オープンソースで構築する非同期分散処理のプラットフォーム
2010年1月29日金曜日 オープンソースで構築する非同期分散処理のプラットフォーム 先日のエントリでお伝えした通り、現在新しいビジネスの立ち上げに奮闘してます。 その中で、最近流行（？）の非同期に分散処理するようなプログラムを書きましたのでそれについてエントリを書きたいと思います。 今回作っているビジネスモデルは基本的にサーバーサイドのアプリケーションのリソースを切り売りしていくモデルで考えているのですが、その中で非常に重たい（時間のかかる）処理が存在します。 これを非同期分散処理を行う事で、待ち時間を感じさせないよう工夫しました。Movable Typeを使った事がある方は理解出来ると思うのですが、やっている事は本質的に静的構築とあまり変わりません。あらかじめキャッシュを生成するようなイメージです。 実際の処理の流れを、福岡ITベンチャーヌーラボさんのCacooを使って簡単に図にしまし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
display Gearman status with pure perl - tokuhirom's blog
株式会社VOYAGE GROUP
IBM Developer
