メモ: Redisをジョブキューとして使う - ごろねこ日記
Redisについて Redisはいわゆるオンメモリで動作して永続化もしてくれる高速なキーバリューストアですが、ノティフィケーションのような機能ももってます。 実はジョブキューのようなものは無いかなと最初はRabbitMQを調べていたのですが、そういやRedisにそういう使い方できそうなコマンドがあったような。と思ってみてみたらありました。 コマンド 該当のコマンドはPUBLISHとSUBSCRIBEです。 SUBSCRIBEは現在のコネクションで特定のキーワードの通知が来るのを待機開始するコマンド PUBLISHは通知を送信するコマンド です。 具体的には SUBSCRIBE fooとするとキーワードfooで通知を待ち受け、 PUBLISH foo hogeとするとhogeというメッセージとともにSUBSCRIBEしているコネクションにメッセージを送ります。 実際にコマンドラインからやって
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
GoとMySQLを用いたジョブキューシステムを作るときに考えたこと - ゆううきブログ
【追記】2023年3月21日 YAPC::Kyoto 2023で、ジョブキューシステムFireworqの設計と運用実績も含めて発表されました。id:tarao ++ 【加筆修正】 2020年2月16日 執筆時から6年も経過していますが、たまたまこの記事を振り返る機会があったので、日本語がおかしいところを一部修正したり、一緒に取り組んだ方々の名前が書かれていなかったところを修正しました。 【追記】2017年12年24日 このエントリのジョブキュー実装がFireworqという名でOSSとして公開されました。id:tarao ++ github.com この記事ははてなエンジニアアドベントカレンダー2014の4日目です。 前回は Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog でした。 社内の開発合宿で、 id:taraoさん、id:hakobe
channel lock - 鳩舎
channel でブロックするようなコードが書ける。例えばスレッドの並列数を制限したいとか、そういう簡単な用途で使うのに取り回しがいい。 package main import ( "fmt" "time" ) func main() { go func() { for { fmt.Printf(".") time.Sleep(100 * time.Millisecond) } }() queue := make(chan int, 3) time.Sleep(1 * time.Second) queue <- 1 fmt.Println(1) time.Sleep(1 * time.Second) queue <- 2 fmt.Println(2) time.Sleep(1 * time.Second) queue <- 3 fmt.Println(3) go func() { time
Rubyを用いたマルチスレッド対応Queueの作り方 - M-Tea
はじめに マルチスレッドとキューについていろいろ書いてきている。とりあえず今回は、Rubyでマルチスレッド対応なQueueを考えてみる。 いろいろなご意見 皆様からいろいろなご意見を頂いたので、記載しておく ・キューの上限が必要なケースがよくわからなかった ・ディープクローンが発生するとパフォーマンスが悪くなる ・lock-freeなアルゴリズムがあるのでは これらについては、今後また書きたい rubyのマルチスレッド対応キュー Rubyでマルチスレッド対応Queueが欲しければ、以下のようにすればいい。 require 'thread' q = Queue.new q.enq( '123' ) q.deq() 既にクラスがあるので、それを利用すればいい... 自分で作る いや、あえて作る必要がないのであるが、作ってみる require 'thread' class MyQueue def
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Kue
Kue is a feature rich priority job queue for node.js backed by redis. A key feature of Kue is it's clean user-interface for viewing and managing queued, active, failed, and completed jobs. At any point in the job's life-time you can view verbose details, including the job's arbitrary data, creation, update, failure, and completion times. Jobs may update their progress in increments, providing vita
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
