[B! ruby][gearman] shokaiのブックマーク

AmazonS3に並列アップロード - 橋本詳解

http://d.hatena.ne.jp/shokai/20100220/1266646461 をgearmanで並列化した upload-worker.rb #!/usr/bin/env ruby require 'rubygems' require 'gearman' require 'aws/s3' BUCKET = "your-bucket-name" GEAR_TASK = 'upload-awss3' if ARGV.size > 0 (ARGV.first.to_i-1).times do pid = fork break if !pid puts "fork pid:#{pid}" end end AWS::S3::Base.establish_connection!(:access_key_id => "your-key", :secret_access_key =>

shokai 2010/02/21

リンク

橋本商会 » OpenCVで画像のだいたいの色を求めるgearman workerを作って、Rubyから呼び出す

画像のだいたいの色を求めるをgearman worker化した。画像ファイル名をテキストで投げると {width: 136, height: 147, r: 249, g: 234, b:230} という形式で画像のサイズとだいたいの色を返す。 Cでworkerを書いてRubyで呼び出す方法は橋本商会 Cでgearman workerを書いてRubyのclientから呼び出すに書いたとおり。これでOpenCVの解析をgearman workerとして複数並列に動かしてそれをRubyから使いまくるというのができるワハハ C++なのはboost::regex_splitでも使って引数を受け取ろうかと思ってたんだけど、そもそもファイル名だけしか受け取らなかったから意味がなかった。 imgcolorWorker.cpp // 画像のだいたいの色とサイズを返すgearman worker #in

shokai 2010/01/03

リンク

橋本商会 » OpenCVで画像のサイズを求めるgearman workerを作って、Rubyから呼ぶ

ファイル名を渡すと画像サイズを返すgearman workerを作った。 {"width":1600, "height":1200} という風にJSON風に値を返す。以前画像のだいたいの色を求めるgearman workerを作ってたんだけど、C++で書いたworker側を単独で動作テストする事ができなくてどうしようか悩んだ。テスト用のclientと同時に作らなければならなくて、どちらにバグがあるのか切り分けるのが面倒だった。そこで、workerの起動時に ./imgsizeWorker --test "/path/to/imagefile.jpg" という風にgearman clientから来る引数と同じ形式で渡すと、単体のプログラムとしても動作チェックできるようにした。こうすると普通にworkerとして起動する。 ./imgsizeWorker -s localhost -p 7

shokai 2010/01/03

リンク

橋本商会 » Cでgearman workerを書いてRubyのclientから呼び出す

gearmandをソースからインストールして、Cライブラリのlibgearmanが使えるようになった。これでC言語でworkerを作ってRubyのclientから呼び出せる。環境はUbuntu9.04とgearmand0.11 ■Cでworkerを書く str_reverseというアビリティを持つworkerを作る。ほぼAPIドキュメントのままだが、jobの引数を受け取るのと、値を返せるようにがんばった。ジョブ失敗した時とかのエラー処理全然書いてない。たぶんenum gearman_return_tを返せばいいんだろうけど strreverse-worker.c // 文字列をreverseして返すworker #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include

shokai 2009/12/15

リンク

Gearmanインストール、Rubyから使う - 橋本詳解

参考 http://d.hatena.ne.jp/okinaka/20090823/1251036470 sudo apt-get install gearman-server /etc/default/gearman-server を編集、trueにする ENABLED="true"sudo /etc/init.d/gearman-server start最近のバージョンのgearmanはport 4300で動くらしいが、aptで入ったのは7003だった。 githubにruby用のライブラリがあった http://github.com/xing/gearman-ruby gemでインストール sudo gem sources -a http://gems.github.com sudo gem install xing-gearman-ruby 使ってみる。 clientがURLをdo