Choose Postgres queue technology
Introduction⌗ Postgres queue tech is a thing of beauty, but far from mainstream. Its relative obscurity is partially attributable to the cargo cult of “scale”. The scalability cult has decreed that there are several queue technologies with greater “scalability” than Postgres, and for that reason alone, Postgres isn’t suitably scalable for anyone’s queuing needs. The cult of scalability would rathe
Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O
Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O When talking about high-performance software we probably think of server software (such as nginx) which processes millions requests from thousands clients in parallel. Surely, what makes server software work so fast is high-end CPU running with huge amount of memory and a very fast network link. But even the
マルチテナントを支えるkintoneのメール送信戦略 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは！kintoneチーム DevOpsエンジニアの @szkayeah です。 Webサービスを使っていると、何らかの操作をトリガーにメールが届く時がありますよね。サイボウズの kintone(キントーン) も例外ではありません。「データを登録したよ」とか「Aさんからコメントがあったよ」など主に通知のために普段から多数のメールが送られています。 kintone は、エンドユーザーが業務アプリを自由に作成できるマルチテナント型のクラウドサービスです。ゆえに、テナントによってご利用方法が多種多様に渡ります。メールでの通知に関してもエンドユーザーが柔軟に設定できるため、テナントごとにメール送信量に差があるといった現状があります。 本日は、私のチームが運用している AWS版kintone でメールを安定して送るためにどんな仕組みを作っていったかを紹介します！ メールは非同期で順次送信されて
SQS を使った Python の非同期ワーカーは ndkale しかない - kawasin73のブログ
誰一人見捨てない!!! どうも、かわしんです。Celery は見捨てるんです。 この記事は Pythonその2 Advent Calendar 2019 の 15 日目の記事です。 やや強めのタイトルですが、AWS SQS を使った非同期ワーカーでまともな実装は ndkale しかないという内容です。Celery は論外です。 github.com 前半はディスってばっかりなので、ndkale のことだけを知りたい場合は途中の「大本命 ndkale」から読んでください 前提としての欲しい機能 まず、諸々をディスる前に非同期ワーカーとして欲しい機能をあげておきます。 正しく SQS を使って信頼性のあるタスク実行をする 即時再実行をする 複数のキューを使い分ける。また同じタスクでも動的に利用するキューを切り替えたい Dead Letter Queue も使えると嬉しい まず Celery を
Amazon SQSでFIFOだからってシステム全体が Exactly-Once になると思ったら大間違いだっていう話 - Smoky God Express
TL; DR Amazon SQS で Exactly-Once なキューを使おうとも冪等な処理を書くべき キューが Exactly-Once であるという性質はシステム全体が Exactly-Once になることを保証できない 結局マルチデータソースへの書き込みの問題が残る Designing Data-Intensive Applications (邦訳: データ指向アプリケーションデザイン） が良書でした 邦訳は未読1ですが原著の内容がいいのできっとだいじょうぶでしょう Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 作者: Martin Kleppmann出版社/メーカー: O'Reilly Media発売日: 2017/
Job queues in Golang
golang_job_queue.md Golang Workers / Job Queue A running example of the code from: http://marcio.io/2015/07/handling-1-million-requests-per-minute-with-golang http://nesv.github.io/golang/2014/02/25/worker-queues-in-go.html This gist creates a working example from blog post, and a alternate example using simple worker pool. TLDR: if you want simple and controlled concurrency use a worker pool. Ste
NATSについて調べて動作を試してみた - Qiita
NATSとは? NATSは軽量でハイパフォーマンスなメッセージングシステムを提供するミドルウェア。 比較されるミドルウェアとして、ActiveMQ、Kafka、Kestreal、NSQ、RabbitMQ等がある。 2016年7月現在のリリースバージョンは0.8.1。 NATSとNATS Streaming NATSには大きく2つの仕組みがある。 いわゆるNATSと呼ばれるものとNATS Streamingと呼ばれるものの2つ。 NATSの特徴 シンプルなテキストベースのプロトコル At-most-once-deliveryなメッセージング(TCP/IP上でメッセージのやりとりを行うため、TCPレベルでの保証) 様々なメッセージングモデルを実現 クラスタリング 遅いクライアントを自動で切断(Auto Pruning of Client) Ping-Pongタイムアウトまたはペンディングメッセ
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
大量メッセージが来ても安心なLINE BOTサーバのアーキテクチャ - Qiita
Help us understand the problem. What is going on with this article? 3月24日に発表になったLINEのBOT API Trial Accountが、いよいよ4月7日から実際に試せるようになりました。既に多くのBOTが開発者の手によって作られ始めたようですね。QiitaにもいくつかBOTの作り方が投稿されていますので、"LINE BOT"というキーワードで探してみてください。 実際の作り方の基本は他の投稿に任せるとして、BOT API自体は非常にシンプルな作りなので、試すこと自体はすぐにできると思います。しかし、シンプルな反面、仮に近い将来「Trial」が取れて、友だち50人制限が撤廃された時、それでも正しく安定的に動作するBOTとするには、アーキテクチャ上の工夫が必要になります。個人的に、既にLINE BusinessCo
GitHub - edgurgel/verk: A job processing system that just verks! 🧛
Verk is a job processing system backed by Redis. It uses the same job definition of Sidekiq/Resque. The goal is to be able to isolate the execution of a queue of jobs as much as possible. Every queue has its own supervision tree: A pool of workers; A QueueManager that interacts with Redis to get jobs and enqueue them back to be retried if necessary; A WorkersManager that will interact with the Que
Sidekiq について基本と1年半運用してのあれこれ - まっしろけっけ
はじめに 実際に運用していた時に非同期にしていた主な処理は下記のようなものがあります。 iOS Android の push 通知の送信処理 ログの作成 様々な外部 API の呼び出し 非同期で更新しても問題ないデータの更新 Sidekiq is なに sidekiqは非同期処理を実現する gem 他にも Ruby で非同期処理を実現できる有名な gem には resque や delayed_job 等がある。 sidekiq.org Enterprise版等もありますが、 今回はOSS版を使用している前提でのお話しです。 他の非同期処理が可能な gem との簡単な比較 FAQ · mperham/sidekiq Wiki · GitHub この内容は結構真実を語っていることを最近知った Sidekiq Redis マルチスレッド リトライ処理あり おしゃれなダッシュボード Resque
PostgreSQL で簡易に MQ - 木曜不足
「PostgreSQL で安くて早くてうまい MQ 作ってね」的ミッションがどこからともなく降ってきたので、色々調べて試してみたところ、案外よい方法が見つかったので、まとめてみた。 [4/24] 複数キューを扱う場合の方法を tableoid を利用するように更新。 [4/27] フィルタ条件を付ける場合の記法について追記(WHERE 句内の評価順の明示的指定) [4/30] 優先順位に ORDER BY は利用できない旨追記 鍵は advisory lock。PostgreSQL 8.2 以降の機能だ。 メッセージキューと言っても、安くて早いわけだからもちろんフルフルの高機能なわけなく、いろいろ制限がある。 receiver は複数可。メッセージは receiver の一つが受信する。ブロードキャスト/マルチキャストは対象外。 ack あり。ack せずに receiver が落ちた場合
Main thread で実行 - Qiita
以前は NSObject の - (void)performSelectorOnMainThread:(SEL)aSelector withObject:(id)arg waitUntilDone:(BOOL)wait などを利用していた。 引数が0または1しか取れない、メソッドをわざわざ作る必要がある、など不便な点が多かった。引数増やすときは NSInvocation で回避できたが、やっぱり面倒だった。 GCD を使ったほうが簡単。 同期実行したいときは dispatch_async() の代わりに dispatch_sync() を使う。 Main thread から dispatch_sync で main queue に突っ込もうとすると誰も処理できずに詰まるので注意。 どの thread から呼ばれるかわからない場合は自分がどの thread にいるかチェックする。 (もっと良
RabbitMQ(2.8向け)のHAクラスタ構成
RabbitMQ Highly Available Queues and Clustering using Amazon EC2 という AWS 環境での RabbitMQ クラスタ構築に関する面白い記事を見かけた。 知識の再確認のため、以下をメモ。 RabbitMQ のクラスタの構築 HA:Active-Standby(Shared Nothing) HA:Active-Standby(Shared Storage) HA:Active-Active(Mirrored Queue) RabbitMQ のクラスタリングの特徴 Erlang/OTPの 分散フレームワークをベースにしている。 ノード間でCookie(/var/lib/rabbitmq/.erlang.cookie)を同じにする ノード名(デフォルトはホスト名)をクラスタ間で重複しないようにする キューのメタ情報とキューが管理さ
Job Queueシステムを自分で設計するときに必要な設定項目メモ
「Job Queueシステムを使いたいんだけど、今回使いたい言語用のライブラリには低機能のものしかない、追加機能を少しだけ自分で作る必要がある」というときに、どういう機能を最低限作れば、システムリソースの使い過ぎ等を避けられるかメモ。 Google App Engine(GAE)のTaskQueueが以前使ってて便利だったので、「それと同じ機能が最低限あれば、とりあえずOKでは？」みたいな方針で書いてます。用語は基本的にGAEに合わせますが、各システムによって様々だったりします。 この記事に書かれた内容が絶対とかそういうわけではないのでご注意ください。 RateとBucket Size トークンバケットアルゴリズムでタスクを実行していく場合、RateとBucket Sizeの値を設定することで、結果的に、単位時間あたりに実行するタスクの数を設定することができます。 具体的な数字は完全にシス
cybozu.com の MQ と性能問題 - Cybozu Inside Out | サイボウズエンジニアのブログ
いよいよ「サイボウズ・アドベントカレンダー2012」の始まりです。 記事一覧も作成しましたので、ご活用ください。 こんにちは。CyDE-C チームの青木です。 CyDE-C チームとは cybozu.com のミドルウェア層を担当するチームで、アプリケーション層のチームに MQ や全文検索サービス、BLOBサービス、Slash と呼ばれるユーザー管理機能を提供しています。 今回は CyDE-C が提供する MQ のパフォーマンスチューニングについて紹介します。 MQ とは Message Queue の略で、cybozu.com ではタスクの非同期実行の要として使われています。この仕組みはジョブキューやタスクキューとも呼ばれますが、この記事では MQ で統一することにします。 現行の MQ について cybozu.com の MQ は、キューに MySQL 、ワーカーは Java 製プログ
Objective-Cの非同期的な処理、方法のまとめ - Qiita
delegateやprotocolの勉強をしたいという人がいるので、なるべくわかりやすくここに書いておこう。propertyとか、delegateっていうのはObjective-Cで楽しいところでもある。 でも、delegateだけじゃなくて、他にもいろいろ非同期的な処理をやる方法あるんで、それも、まとめて説明する。 適当に思いつくだけ書くと、非同期的な処理をするために、Objective-Cでは以下のようなやり方がある。他にもあるかもしれないが、だいたいこれだけある。そして、どれを使ってもいい。 Objective-C、C/C++でも可能 ・関数のアドレスを保持しておいてコールバックする。 ・pthread条件変数を使う。（デッドロックやスレッド管理） ・非ブロッキングI/Oする。（データの検査コスト大、結局カーネル空間からユーザ空間に必要なデータをコピーするときにブロックされる） ・シ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blog.sojiro.me/blog/2016/08/10/about-gae-task-queue/
Scalable Job Queue System Built with Docker
fluentdによる大規模キュー設計
