New for Amazon Simple Queue Service – FIFO Queues with Exactly-Once Processing & Deduplication | Amazon Web Services
AWS News Blog New for Amazon Simple Queue Service – FIFO Queues with Exactly-Once Processing & Deduplication As the very first member of the AWS family of services, Amazon Simple Queue Service (Amazon SQS) has certainly withstood the test of time! Back in 2004, we described it as a “reliable, highly scalable hosted queue for buffering messages between distributed application components.” Over the
MessageQueueでらくらくサーバ/クライアント環境
自己紹介 •城間 隆行(しろま たかゆき) –所属:電気通信大学 大学院 (修士1年) SoftLayerユーザー会 – 研究:クラウドコンピューティング関係 •本日の内容:SoftLayerのMessageQueueが 便利だった話 15/03/20 Japan SoftLayer UG 2
750,000MPSを達成したsurgemqの秘密に迫る - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? (かきかけ)つい先日、surgemqの速さについての記事「SurgeMQ: MQTT Message Queue @ 750,000 MPS」が製作者本人により書かれ自分の周りのTLではにぎわいを見せました。 現時点ではまだまだ未実装な点が多いsurgemqですがgoでこの速度を達成した、ということは驚異に値します。 nsqdが約10万msg/sec、私のgoのmqttサーバーが4万msg/sec、ということで普通にgoでああいったTCPサーバーを書くと何もしないとSingle Coreで1〜2万に行くのがやっとこなはずなので凄さがわか
NSQ-Centric Architecture (GoCon Autumn 2014)
CEDEC 2015 IoT向け汎用protocol MQTTのリアルタイムゲーム通信利用と実装、そして未来へ…
分散型メッセージングミドルウェアの詳細比較 | POSTD
メッセージキュー について書いている連載の続きとして、今週末は分散型メッセージングを実行するための様々なライブラリを詳細に分析していきたいと思います。今回の分析では、APIの特性、デプロイメントやメンテナンスの容易さ、そしてパフォーマンスの質を含めて2、3種類の異なる側面に着目します。メッセージキューは2つのグループに分類できます。ブローカレス（brokerless）とブローカード（brokered）です。ブローカードなキューはエンドポイント間に何かしらのサーバを挟んでいますが、ブローカレスなメッセージキューは、メッセージ送信の際でも間に何も挾まないP2Pです。 今回分析するのは以下のシステムです。 ブローカレス nanomsg ZeroMQ ブローカード ActiveMQ gnatsd Kafka Kestrel NATS NSQ RabbitMQ Redis 取り掛かりとして、ほぼ間違
すごく古い時代に存在してたトランザクション/マスターの考え方をそろそろ新しいネーミングで復活させるべき時代じゃないかと思い始めた今日この頃 - makotanのブログ
すごく古い時代に存在してたトランザクション/マスター まだ世の中が磁気テープ装置と磁気ディスク装置(ただし小容量で高額)だったころ トランザクションデータは磁気テープに書き込んで、夜間バッチで磁気ディスクを更新する時代 この頃のトランザクションデータは今のRDBが持ってるトランザクションと同じような意味だった気がする ＃だって仕事では直接関わってない世代だから詳しく知らないもんｗ RDB時代のトランザクション/マスターの考え方 トランザクションは更新があるデータ、マスターは更新が少ないデータに変質した 実はマスターデータと言っているデータはある意味トランザクションデータにもなり得るので、実は境目が曖昧 あくまで更新頻度の問題だったり、たくさん参照されるデータって意味でしか使われてない ＃この辺がずっと気持ち悪くて、個人的には嫌いだった(用語としては便利なので使ってた) これからのトランザク
Business Software, Business Management Software | NetSuite
The #1 AI Cloud ERP AI that knows your business. Used by plus customers, our AI-powered business management suite connects data across ERP/Financials, CRM, ecommerce, and more. Because when you have a single source of truth, your AI doesn’t just guess– it knows. Free Product Tour (opens in new tab) Why NetSuite NetSuite Next Where your business meets AI NetSuite Next makes AI a natural part of how
Benchmarking SQS
SQS, Simple Message Queue, is a message-queue-as-a-service offering from Amazon Web Services. It supports only a handful of messaging operations, far from the complexity of e.g. AMQP, but thanks to the easy to understand interfaces, and the as-a-service nature, it is very useful in a number of situations. But how fast is SQS? How does it scale? Is it useful only for low-volume messaging, or can it
Google Compute Engine上では毎秒100万通のメッセージを安定処理できる
Pivotalとの共同検証で、Google Compute EngineがRabbitMQを使った仮想クラスタ環境での大量メッセージング処理で高い性能を示した。 米グーグルとPivotalは2014年6月23日、「Google Compute Engine」にオープンソースのメッセージングシステム「RabbitMQ」を導入して行った性能実験で、毎秒100万通を超すメッセージを安定して処理できる性能を実証したと発表した。 送信したメッセージと受信したメッセージを合せると処理数は毎秒200万通を超え、1日当たりに換算すると860億通に相当する。これはAppleが1日に処理するiMessagesの400億通を上回るという。 実験ではGoogle Compute Engine上に、それぞれ8個のvCPUと30GバイトのRAMを搭載した仮想マシン32台のクラスタを構築。各仮想マシンのDebian上に
moco(beta)'s backup: Redis でタスクキュー (2)
Redis でタスクキュー (1) の続きです。優先順位のあるタスクについて。 タスクに優先順位があって、優先度の高いタスクは低いタスクより先に処理したい、という場合は、優先度ごとに複数のLISTを用意することで対応できます。BLPOP / BRPOP は複数のLISTを受け取ることができ、必ず左のLISTから順に処理する、という性質を利用します（…というよりは、BLPOP / BRPOP 自体がタスクキュー・メッセージキューのために用意されていると思っていいはず）。 Redis 2.8.8, Python 3.4.0, redis-py 2.9.1 で動作を確認しています。 (少し変更した) Provider メソッド 指定されたLISTに、要素を右から追加します。 def provider(conn, name, total_tasks, queue, sleep=0.1): """
Thoughts on message queue and work queue systems - overview & what's useful - jorgenmodin.net
Jörgen Modin is an IT consultant and trainer who works with web based and mobile based systems. Jörgen can be reached at jorgen@webworks.se. I have just finished writing a message queue based system and I used Redis as the message queue system. I have just run the system in production for a couple of days, but I already have some thoughts on how I would like a message queue system to work, and wha
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - graknlabs/redisq: Java library for publish/subscriber queues in Redis
GNU Parallel as job queue processor
» スケーラブルな優先度キューが競合を最小化
advantageous/qbit · GitHub - The Java microservice lib - JSON, HTTP, WebSocket, REST
http://www.cs.sjsu.edu/~pearce/modules/patterns/distArch/pipeline.htm
GitHub - OpenHFT/Java-Lang: Java Language support
GitHub - scttnlsn/queued: Simple HTTP-based queue server
Iron.io - Hosted Serverless Tools
The Design of A Big, Fast, and Persistent Queue - Abstraction Builder