分散型メッセージングミドルウェアの詳細比較 | POSTD
メッセージキュー について書いている連載の続きとして、今週末は分散型メッセージングを実行するための様々なライブラリを詳細に分析していきたいと思います。今回の分析では、APIの特性、デプロイメントやメンテナンスの容易さ、そしてパフォーマンスの質を含めて2、3種類の異なる側面に着目します。メッセージキューは2つのグループに分類できます。ブローカレス（brokerless）とブローカード（brokered）です。ブローカードなキューはエンドポイント間に何かしらのサーバを挟んでいますが、ブローカレスなメッセージキューは、メッセージ送信の際でも間に何も挾まないP2Pです。 今回分析するのは以下のシステムです。 ブローカレス nanomsg ZeroMQ ブローカード ActiveMQ gnatsd Kafka Kestrel NATS NSQ RabbitMQ Redis 取り掛かりとして、ほぼ間違
Thoughts on message queue and work queue systems - overview & what's useful - jorgenmodin.net
Jörgen Modin is an IT consultant and trainer who works with web based and mobile based systems. Jörgen can be reached at jorgen@webworks.se. I have just finished writing a message queue based system and I used Redis as the message queue system. I have just run the system in production for a couple of days, but I already have some thoughts on how I would like a message queue system to work, and wha
Understanding the Internal Message Buffers of Storm
When you are optimizing the performance of your Storm topologies it helps to understand how Storm’s internal message queues are configured and put to use. In this short article I will explain and illustrate how Storm version 0.8/0.9 implements the intra-worker communication that happens within a worker process and its associated executor threads. Internal messaging within Storm worker processes Il
Modern Distributed Messaging and RPC
This document provides an overview of lightweight messaging and remote procedure call (RPC) systems in distributed systems. It discusses messaging systems, typical peer-to-peer and broker-based messaging topologies, characteristics and features of messaging systems, main classes of messaging systems including enterprise service buses (ESBs), JMS implementations, AMQP implementations, and lightweig
ZeroMQ: Modern & Fast Networking Stack - igvita.com
By Ilya Grigorik on September 03, 2010 Berkeley Sockets (BSD) are the de facto API for all network communication. With roots from the early 1980's, it is the original implementation of the TCP/IP suite, and arguably one of the most widely supported and critical components of any operating system today. BSD sockets that most of us are familiar with are peer-to-peer connections, which require explic
zed shawのmongrel2は言語ニュートラルなサーバ - karasuyamatenguの日記
Mongrel2は各種の外部リクエストをZeroMQに変換することにより、均一なインターフェースを提供し言語ニュートラルな分散型のシステム構築を可能にしてる。 http://sheddingbikes.com/posts/1276761301.html 「まだ君は気がついていないかもしれないけど、このデザインはウェブアプリケーションのアーキテクチャーと稼働形態を変えるものにる可能性がある」 "It may not dawn on you quite yet, but I think this design has a verygood chance of changing how we architect and deploy web applications." 大口を叩くので有名なZedがまた何か叫んでいる。聞いてみようではないか。 全ての言語を愛するサーバ mongrel(バージョン
A quick message queue benchmark: ActiveMQ, RabbitMQ, HornetQ, QPID, Apollo... - Muriel's Tech Blog
Lately I performed a message queue benchmark, comparing several queuing frameworks (RabbitMQ, ActiveMQ…). Those benchmarks are part of a complete study conducted by Adina Mihailescu, and everything was presented at the April 2013 riviera.rb meet-up. You should definitely peek into Adina’s great presentation available online right here. Setup and scenarios So I wanted to benchmark brokers, using d
システム間連携 その４：ZeroMQ - Tech-Sketch
1.はじめに ３回にわたり、システム間連携を行う際の高付加価値な機能としてMOM(Message Oriented Middleware)のRabbitMQ,ESB(Enterprise Service Bus)のJBossESB,Muleを紹介してきました。今回は視点を変え、すべての通信の基礎となるソケット通信(以下、Berkeley socketsと呼びます)のAPIに焦点をあて、それに対するフレームワークであるZeroMQ(http://www.zeromq.org/)を紹介します。 2.Berkeley socketsの問題点 Berkeley socketsを用いたシステム間連携(TCP/IP通信)の処理の流れは次のようになります。 このソケット通信はMOMを用いたシステム間連携と対比しますと付加価値機能が無い分だけ高速に動作し、ハブ＆スポークのハブにあたる部分が無いためシステ
ØMQの何がすごいのか理解してみる。 実践編 - Taste of Tech Topics
第1回 橋本です。 今回も引き続きØMQの話です。 簡単なサンプルプログラムを動かしながら、ØMQの内部動作を探っていきます。 なお、この連載は、あくまで「内部を探る」が目的のため、ØMQの説明では必ずといって良いほど出てくるtopologyの説明は、割愛しちゃいます。 ちょっと拍子抜けかも知れませんが、マニュアルを参考にしてくださいね。 最初のサンプルコード 2回目にして最初のサンプルコードです。 ØMQではいろいろな通信方式・構成を選べるのですが、まずはネットワークプログラムを書く人間なら誰しも書く、シンプルなサーバ・クライアント形式のプログラムを書いてみます。 今回は簡単のために素のC言語のAPIを触っています。 Javaなどの他の言語でもあまり変わらないので、安心してください。 サーバ側 まずはサーバ側です。 ソケットプログラミングを経験した人ならば容易に想像がつく実装だと思います
ØMQの何がすごいのか理解してみる。導入編 - Taste of Tech Topics
橋本です。 これから数回にわたってØMQについて取り上げていこうと思います。 書いている中の人の趣味趣向により「どう使いこなすか？」というより「どう作られているか？」に軸足を移した 内容になると思います。 私と同じく「Stormってどういう作りになっているんだろう？」とか「Hadoopのソース読んでたら１日終わってた！」という人向けの内容になります。 その分ある程度深くもぐろうと思いますので、よろしくお願いします。 ØMQの紹介 ØMQというのは簡単に言うと「並列処理でパフォーマンスを出すための通信フレームワーク」です。 2007年ごろから開発されているOSSとしては歴史あるソフトウェアなのですが、 Stormの通信レイヤの実装で一躍有名になったのではないでしょうか？ 少なくとも私はStormのソースコード公開で初めて知り、作り手の熱い思いにわくわくしたクチです。 "MQ"という文字が含ま
Event Driven-Architecture from a Scalability perspective
This document discusses building scalable systems using event-driven architecture (EDA). It covers key EDA concepts like messaging patterns, domain events, event streaming, actors, and command query responsibility segregation (CQRS). Implementation patterns are presented, like event sourcing to store system state as a sequence of events. Challenges with clustering brokers, guaranteed delivery, com
Asynchronous Processing in Web Applications, Part 2: Developers Need to Understand Message Queues
Asynchronous Processing in Web Applications, Part 2: Developers Need to Understand Message Queues In the first part of this series, we explained asynchronous processing, when you might need to use it and why leveraging a database for that purpose is not necessarily the best option. In this post, we will explore a smarter approach to asynchronous processing using “message queues”. Given the reason
Message Queue Shootout!
I’ve spent an interesting week evaluating various Message Queue products. The motivation behind this is a client that has somewhat high performance requirements. They have bursts of over a million simultaneous messages. Currently they’re using a SQL server based solution, but it’s not ideal, and I’m suggesting they look at Message Queuing products as an alternative. In order to get a completely un
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bootic/bootic_data_collector · GitHub - UDP-to-Websockets-to-ZMQ JSON data collector for Bootic, written in Go
http://x86-64.github.io/frozen/index.html