分散型メッセージングミドルウェアの詳細比較 | POSTD
メッセージキュー について書いている連載の続きとして、今週末は分散型メッセージングを実行するための様々なライブラリを詳細に分析していきたいと思います。今回の分析では、APIの特性、デプロイメントやメンテナンスの容易さ、そしてパフォーマンスの質を含めて2、3種類の異なる側面に着目します。メッセージキューは2つのグループに分類できます。ブローカレス（brokerless）とブローカード（brokered）です。ブローカードなキューはエンドポイント間に何かしらのサーバを挟んでいますが、ブローカレスなメッセージキューは、メッセージ送信の際でも間に何も挾まないP2Pです。 今回分析するのは以下のシステムです。 ブローカレス nanomsg ZeroMQ ブローカード ActiveMQ gnatsd Kafka Kestrel NATS NSQ RabbitMQ Redis 取り掛かりとして、ほぼ間違
PHP+Kestrel+Supervisorでお手軽タスクキューイング
こんにちは、久保田です。 ウェブサービスでは、ユーザのアクションに従ってバッチ処理を行わなければならないケースがままあります。この記事では、バッチ処理の手法の一つであるタスクキューイングをPHPとKestrelとSupervisorを利用して行うやり方の導入を紹介します。 なぜなにタスクキューイング ウェブサービスでは、ユーザのアクションに従って非同期にバッチ処理を行うようなケースがよくあります。 例えばflickrのような写真を共有するウェブサービスで言えば、ユーザが写真をアップロードしたあとに非同期でその画像の複数のサムネイル生成や加工をしなければならないケースがあります。 よく見られるのは、DBにバッチ処理のためのタスクデータを入れておいて、後でcronで定期的に起動するワーカープロセスからバッチ処理を行う方法です。このやり方には、ワーカーを複数プロセスで扱いづらい、処理がリアルタイ
Twitterで使っているScalaで書かれたオープンソースのメッセージキューサーバー、Kestrel – yusuke.blog
Kestrelは大規模かつ高速に運用できるメッセージキューサーバーです。Twitterで使っています。 ソースはhttps://github.com/robey/kestrelよりチェックアウトできます。 ・特徴 Kestrelは特徴として – memcachedプロトコルをサポートしており、クライアントのプラットフォーム非依存 – Scalaで書かれており、高速なJVMの恩恵を受けることが出来る – 全部で2500行ほどとシンプル – 基本メモリベースで高速だがメッセージはファイルシステムにジャーナルが記録されており耐障害性が確保されている – キューから取り出したメッセージをクライアントがacknowledgeするまで捨てないことで処理漏れを防ぐことができる といったことが挙げられます。 ・Memcachedプロトコル Memcachedプロトコルの基本は非常に簡単で、setコマンドで
Scarling » Kestrel
Ever since we deployed scarling in production, its name has progressed from being a stale joke to an annoyance. It started out as a test of porting starling to scala, but as features have been added and it’s been hardened by the real world, it has needed its own identity. I wanted to stay with the bird theme, because I think it’s cute, so after spending several days mulling over possible new names
kestrelのソースコード - hito_asaの日記
kestrelについては前回のエントリ kestrelを試してみたよ - na と、githubを参照のこと。 twitter/kestrel · GitHub ソースコードは↑から見れますが、 /src/main/scala/net/lag/kestrel/ 809 BrokenItemException.scala 1043 Counter.scala 10126 Journal.scala 5900 Kestrel.scala 12064 KestrelHandler.scala 18436 PersistentQueue.scala 1732 QItem.scala 6765 QueueCollection.scala memcache/ 1921 ASCIICodec.scala 406 BinaryCodec.scala 1666 Codec.scala tools/ 4475
kestrelをインストールする - メモとかそんな感じなやつ
kestrelはメッセージキューの一種でtwitterでも利用されているらしい。 たまたまインストールする機会があったので作業メモ。 環境 OS: CentOS 5.5 (64bit) jdk: 1.6.0 kestrel: http://github.com/robey/kestrel git kestrelのbuildはsbtってのを使うんだけど(後述)、 build処理の中でgitを呼び出してるらしく、gitがインストされていなとエラーになりました。 まぁkestrelのソース自体githubにあるのでこの機会に入れてしまいます。 # yum install git.x86_64例によってCentOSのデフォのレポジトリでは入ってないかもしれない。 その時は、DAG(rpmforge)のレポジトリを追加もしくはソースからインストールする。 sbt sbtはscalaのbuildツール
kestrelのマニュアル和訳 - hito_asaの日記
無いとばかり思ってたkestrelのそれなりにちゃんとしたマニュアルがありました。 kestrel/guide.md at master · twitter/kestrel · GitHub とりあえずまじめに和訳します。 A working guide to kestrel kestrelはJVM上で動作し、クライアントとmemcacheプロトコルで通信する、シンプルなメッセージキューサービスです。 1つのkestrelサーバーは、名前がついた複数のキューを持ちます。その名前は、それぞれのキューのジャーナルファイルのファイル名にもなります。（通常は/var/spool/kestrelに保存されます） それぞれのキューは完全に順序付けされたFIFO構造で、キュー項目のバイナリデータを持ちます。これはJSONやRubyのMarshalフォーマットようなデータになります。 キューの名前には半角
kestrelの作者さんによるkestrelの紹介 - hito_asaの日記
古い記事ですが、kestrelの作者さんによるkestrelの紹介。 http://robey.lag.net/2008/11/27/scarling-to-kestrel.html 生い立ち もともとScalingという名前だったそうです。 というのも、RubyにあるStarlingというMQサーバーをScalaに移植しようとして作り始めたそうで、memcacheプロトコルを使うという仕様もここからきています。 Starlingについてはhttp://www.rubyinside.com/starling-and-rudeq-persistent-ruby-queues-958.html だけど色々機能を追加したからちゃんと名前つけようか、ということでkestrelになったとのこと。 kestrelで実装した3つの機能について。以下、簡単に和訳します。 （Fanoutについては別のエント
kestrelを試してみたよ - hito_asaの日記
メッセージキューイングシステムが必要でActiveMQとか調べてたけど、やっぱなんかめんどくさそうだし、必要以上にエンタープライズ臭がするのでkestrelを試してみました。 twitter/kestrel · GitHub kestrelはTwitterのバッググラウンドで使われている（らしい）、メッセージキューイングシステムです。 特徴は、ゆろよろさんのブログにも和訳（githubにおいてあるREADMEの和訳）がありますが、以下の通りです。 速くて、 小さくて、 障害に強くて、 信頼できる。 今のコード量はコメント入れて2000行ほどで、たしかに小さいです。 あと、大きな特徴として、memcacheプロトコルでキューへのput/getを行います。 また、ActiveMQと比べたらライトウェイトで速そうな雰囲気です。 必要なもの JDK6 Scala2.7.7 final sbt gi
kestrelのfanout-queuesについて - hito_asaの日記
前回のエントリ kestrelの作者さんによるkestrelの紹介 - na の続きです。kestrelの作者さんによるfanout-queuesの解説です。Twitterのいわゆるファンアウト処理の根幹となる機能の説明になります。 Fanout queues in kestrel 1.2 前回紹介した記事の11ヵ月後の記事で、kestrel 1.2の話になります。kestrelのバージョンは現在1.2.2なので、そんなに古い内容ではありません。new featureとして紹介しているので、以前はない機能だったはずです。 1.2の新機能として以下のものを紹介しています。 起動時、ポートをlistenする前にキューファイルをロードするようにしたよ。*1 "open"オプションによるトランザクションを、"abort"オプションによって明示的にロールバックできるようにしたよ。 "peek"オプシ
Kestrelのビルド方法がsbtに変わった - ikeike443のブログ
Twitter社で使われているというMQサーバのKestrel。memcachedとプロトコル互換性があってシンプルで使いやすそう。 http://github.com/robey/kestrel 最近、ビルドをAntからsbtに変えたみたいです。sbtってのはscala界隈で使われてるっぽいビルドツール。 http://code.google.com/p/simple-build-tool/wiki/BuildConfiguration 早速sbtでビルドしてみたら、３分くらいでビルド出来ました。 以前に比べるとちょっと早くなったんでしょうか。 ビルドしてみたけど、スタックオーバーフローして落ちたよ、って人はスタックのサイズを1024kくらいにしてやればいいと思います。 ということでなんとかプロダクションで使うべく検証をしたいと思っております。。全然時間取れてないけど。。
Python勉強ブログ : Python
August 13, 200923:18 カテゴリPython kestrelを使ってみた Twitterでも使われているMessageQueingシステムのkestrelの記事を読み、 memcachedのプロトコルで使えるということだったのでちょっと使ってみた。 バイナリが発見できなかったので、ソースからコンパイルすることにした。 とりあえず以下からソースコードをダウンロード。 http://github.com/robey/kestrel/tree/master JavaなのででビルドはAnt。 Windows上でビルドするとどうもうまくいかない。 build.xmlを読むとどうやらOSXとLinuxでしかできないよう。 build.xmlを書き換えるのも面倒だったので、VMWare上のDebianでビルド。 今度は上手くいった。 ジャーナリングしたりログの出力パスの設定があるので、
twitterでも利用されているメッセージキュー Kestrelを試す - ( ꒪⌓꒪) ゆるよろ日記
ついったーさんやってますか? ついったーさんのバックエンドは、実はscalaで書かれているってご存じですか? 急成長するついったーさんのバックエンドを支えるなんてすごいですねscala! ついったーさんとscalaのお話は、こちらを参考に。 Twitter on Scala で、Kestrelというメッセージキューが、ついったーさんのバックエンドの一部で利用*1されています。 robey/kestrel · GitHub このKestrelはオープンソースで誰でも利用することができます。 ちょっと試してみましょう。 Kestrelの特徴 READMEに書いてあるものをものっそいてきとうに意訳します。 Kestrel is: fast It runs on the JVM so it can take advantage of the hard work people have put in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kestrel/docs/guide.md at 90bac3dce8b7d70735f4ced9a8ef3cb482d9a476 · twitter-archive/kestrel
: kestrel-talk - Google Groups
How to install Kestrel on Ubuntu 10.04