Dead Letter Channel Pattern with RabbitMQ
メッセージングシステムで送信されたメッセージが正常に処理されなかった場合どうするのか? RabbitMQ 2.8 以降では expire したメッセージや拒否されたメッセージを dead letter として専用の exchange に転送する事ができる。 dead letter になるユースケース 以下のケースで、メッセージは dead letter になる The message is rejected (basic.reject or basic.nack) with requeue=false The TTL for the message expires Enterprise Integratin Patterns との対比 Gregor Hohpe & Bobby Woolf の “Enterprise Integratin Patterns” では 前者は Invalid M
Wingify Engineering -
This is the engineering blog from the hackers at Wingify
RabbitMQ 3.1の導入とCluster構成を検証する
RabbitMQ 3.1の導入と冗長化の検証をしたのでメモ。 検証のための構成はフロントのAPサーバー、RabbitMQが動作するキューサーバー、ワーカーそれぞれ二台づつ。キューサーバーが片方死んでも全体が動作し続けられる事、両方がダウンしたとしてもデータは損失しない事が確認できれば良い。要するに単一障害点にならないようにRabbitMQを使いたい。 サーバーの準備 仮想マシン6台はVagrantを使えば一発で用意できる、メモリ16GB積んでてよかった。ホスト名を後でいじるとrabbitmqctlで停止・再起動がうまくいかなくなった。ホスト名周りはEC2で使う時に面倒な事になりそうだ。 各サーバーの /etc/hosts にrabbit1とrabbit2は追加しておく。 RabbitMQ 3.1 のインストール 起動確認 vagrant@rabbit1:~$ sudo rabbitmq-s
クラウド技術を活用したリアルタイム広告 Logicad の入札・配信・ログ解析 #awssummit
AWS Summit Tokyo 2013 にて発表した資料です。 http://www.awssummittokyo.com/ 『クラウド技術を活用したリアルタイム広告 "Logicad" の入札・配信・ログ解析』 近年のインターネット広告では、複数の広告会社が1ページビュー毎に0.1秒間のオークションに参加して広告を配信するリアルタイムビッディングという取引が行われ、日本国内でも取引が1秒間に数万件以上に及びます。 このようななか、弊社もDSP「Logicad」にて参画し、最適な広告を高速に処理して配信するため、オンプレミスサーバーと AWS を Direct Connect で組み合わせてシステムを構築しています。 またオークション取引や広告配信における大量ログをRabbitMQ で処理しAmazonS3、EMR、DynamoDB等を活用して分析しています。 本セッションでは、リアル
AWSを活用したリアルタイム広告の入札・配信・ログ解析 #hcj13w
Hadoop Conference Japan 2013 Winter で発表した資料です。 http://hcj2013w.eventbrite.com/ 『AWSを活用したリアルタイム広告の入札・配信・ログ解析』 講演者: 安田 崇浩, ソネット・メディア・ネットワークス株式会社 最近のインターネット広告では、複数の広告会社が1ページビュー毎にオークションに参加して広告を配信するリアルタイムビッディングという取引が行われています。日本でも1秒間に数万件以上の取引が行われており、弊社も参加しています。最適な広告を配信するために、オークション取引や落札後の広告配信のログをMessagePack/RabbitMQで処理し、AmazonS3、Elastic Map Reduce、DynamoDB 等のAmazon Web Servicesを活用して分析しています。オークション取引、広告配信で利
RabbitMQ(2.8向け)のHAクラスタ構成
RabbitMQ Highly Available Queues and Clustering using Amazon EC2 という AWS 環境での RabbitMQ クラスタ構築に関する面白い記事を見かけた。 知識の再確認のため、以下をメモ。 RabbitMQ のクラスタの構築 HA:Active-Standby(Shared Nothing) HA:Active-Standby(Shared Storage) HA:Active-Active(Mirrored Queue) RabbitMQ のクラスタリングの特徴 Erlang/OTPの 分散フレームワークをベースにしている。 ノード間でCookie(/var/lib/rabbitmq/.erlang.cookie)を同じにする ノード名(デフォルトはホスト名)をクラスタ間で重複しないようにする キューのメタ情報とキューが管理さ
リアルタイム通知システムの舞台裏 - YAPC::Asia Tokyo 2012 [SEPTEMBER 27,28 & 29th]
TwitterのUserStreamsや、facebookのいいね！の通知など、リアルタイムでユーザーにイベントや更新内容を通知する仕組みはすでに一般的なものとなりました。 しかし、作る側を考えてみると、ユーザーごとに異なるコンテンツをリアルタイムに、しかもスケーラブルに配信する仕組みはそう単純ではありません。 このトークでは、リアルタイム通知の舞台裏として、某スマートフォン向けメッセンジャーアプリの裏側を紹介します。
ActiveMQ or RabbitMQ or ZeroMQ or ... - wivlog
斜め読み, MQ 仕事柄 MQ には余り関わりが無い（更にいうと OSS の MQ にはもっと関わりが無い）のでちょっと調べてみた。ActiveMQ と RabbitMQ が有名だよね、と思ってググってみると、皆大好き Stack Overflow にこんなエントリを発見。この辺りの MQ に興味があるんだけど、何か聞かしてよ、という声に対する反応を斜め読み。 斜め読みTwitter は自前の MQ (Kestrel) を持ってるよ（ActiveMQ と RabbitMQ にストレステストをかけたが、ActiveMQ は遅すぎて、RabbitMQ は Producer と Consumer が多いときに壊れちゃうから自前で作ったみたい。でも RabbitMQ 2.0 以降ではこの問題はもう直ってるらしい）。ActiveMQ はパフォーマンスを向上させたり、スケーラビリティを向上させるため
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building Purgatory: Using node.js to build a delayed queue