Gearman in Launchpad
Please see https://github.com/gearman/gearmand for future develoment beyond v1.1.12 Gearman provides a generic application framework to farm out work to other machines or processes that are better suited to do the work. It allows you to do work in parallel, to load balance processing, and to call functions between languages. It can be used in a variety of applications, from high-availability web s
非同期ジョブキューのアーキテクチャ設計、どうしてますか？ - @kyanny's blog
Gearman のメーリングリストに興味深いポストがあった。僕も色々な意見を聞いてみたいと思ったので、多くの人の目に触れることを期待して紹介する。 Google グループ ウェブサイトに画像をアップロードすると、異なるバックエンドサーバが画像を処理する。まずリサイズし、それから顔認識をする。 一つ目の要求として、処理結果が期待通りかどうかユーザーに確認させたい。顔認識が不要であればリサイズした画像を、顔認識が必要ならばその処理が施された画像を、確認画面に表示したい。つまり、アップロード操作の完了には一つまたは二つのステップを踏む必要がある。 この要求を満たすために同期処理も検討したが、バックエンドサーバがダウンするとウェブアプリケーションサーバも巻き添えを食うため採用したくない。 ウェブアプリケーションのプロセスは Gearman にリサイズ処理を非同期ジョブとして送信し、リサイズ処理のワ
gearmandがtelnetで受け付けるコマンド(1) at technote
gearmand に telnet で接続し、status コマンドでジョブ(job)やキュー(queue)の状態を確認する事が多いのだが、status コマンド以外にどんなコマンドがあるのかを調べてみた。 gearmand は C 言語で実装されている版の 0.14 を使用している。 エラーメッセージからソースを grep したところ、どうやら libgearman-server/server.c が各種コマンドを受け付けているところのようだ。ここから読み取れたコマンドは下記の通り。思っていたよりもかなり少ないな。 version shutdown shutdown graceful maxqueue status workers ■ gearmand の起動と動作確認方法 gearmandは下記のオプションで起動している。特にオプションは指定しておらず -d のデーモンで起動している
cohtan blog: オープンソースで構築する非同期分散処理のプラットフォーム
2010年1月29日金曜日 オープンソースで構築する非同期分散処理のプラットフォーム 先日のエントリでお伝えした通り、現在新しいビジネスの立ち上げに奮闘してます。 その中で、最近流行（？）の非同期に分散処理するようなプログラムを書きましたのでそれについてエントリを書きたいと思います。 今回作っているビジネスモデルは基本的にサーバーサイドのアプリケーションのリソースを切り売りしていくモデルで考えているのですが、その中で非常に重たい（時間のかかる）処理が存在します。 これを非同期分散処理を行う事で、待ち時間を感じさせないよう工夫しました。Movable Typeを使った事がある方は理解出来ると思うのですが、やっている事は本質的に静的構築とあまり変わりません。あらかじめキャッシュを生成するようなイメージです。 実際の処理の流れを、福岡ITベンチャーヌーラボさんのCacooを使って簡単に図にしまし
Gearman
What is Gearman? Gearman provides a generic application framework to farm out work to other machines or processes that are better suited to do the work. It allows you to do work in parallel, to load balance processing, and to call functions between languages. It can be used in a variety of applications, from high-availability web sites to the transport of database replication events. In other word
ジョブキューサーバ Gearmand を PHP から使ってみた - KAYAC engineers' blog
もうすぐ子供が生まれます。春菜です。 今やってるプロジェクトで新機能追加を検討していて、Perl で有名な「TheSchwartz のようなジョブキューシステムとか試してみたいなぁ。」 なんて話してたらちょうど弊社 村瀬 が社内 TIPS 会で Gearmand について話してたので使ってみました。 Gearmandって何？ 元々は Perl で書かれたジョブキューシステムで、つい最近 C でリライトされたようです。 クライアントライブラリとして CPAN はもちろんのこと、PHP や Python などたくさん用意されていて活発的に活動されているみたいです。(期待大！！) PHP では PECL と PEAR のクライアントライブラリが利用でき、本家サイトでも PHP のサンプルが多く紹介されていてそのまま試す事ができて楽チンです。 インストールと起動 ローカルの Mac にインストール
TheSchwartz / Gearman のワーカープロセス管理WorkerManager - stanaka's blog
概要 Perlの非同期処理システムとしてTheSchwartz / Gearmanを非常に便利に使っているのですが、いい感じにワーカープロセスを管理したかったので、WorkerManagerなるものを作ってみました。作ったのは実は1年以上前なのですが、ようやくの公開です。 基本は、Apacheのpreforkモデルを踏襲しています。特徴は、 子プロセスを複数起動させて、ジョブを並列実行 一定回数のジョブを実行したら、子プロセスを再作成 クラスを定義するのみでジョブを実行 TheSchwartz / Gearmanの切り替えを最低限の変更で実現 ワーカープロセスの安全な停止(プロセス停止の際に、実行中のジョブの終了後に終了) ジョブの実行時のタイムスタンプをジョブ投入からの遅延をログに保存 というあたりです。preforkモデルなので、あまりモダンな設計ではないですが、gdbでのデバッグの容
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer