メモ: Redisをジョブキューとして使う - ごろねこ日記
Redisについて Redisはいわゆるオンメモリで動作して永続化もしてくれる高速なキーバリューストアですが、ノティフィケーションのような機能ももってます。 実はジョブキューのようなものは無いかなと最初はRabbitMQを調べていたのですが、そういやRedisにそういう使い方できそうなコマンドがあったような。と思ってみてみたらありました。 コマンド 該当のコマンドはPUBLISHとSUBSCRIBEです。 SUBSCRIBEは現在のコネクションで特定のキーワードの通知が来るのを待機開始するコマンド PUBLISHは通知を送信するコマンド です。 具体的には SUBSCRIBE fooとするとキーワードfooで通知を待ち受け、 PUBLISH foo hogeとするとhogeというメッセージとともにSUBSCRIBEしているコネクションにメッセージを送ります。 実際にコマンドラインからやって
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
ハイパフォーマンスでスケーラブルなメッセージングシステム：Pulsarの紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに Pub-Subとは 用語の定義 システム構成 Hello World おわりに 緊急告知 参考 はじめに こんにちは。システム統括本部プラットフォーム開発本部の栗原と申します。 2016年9月、Yahoo! Inc.からPulsarがOSSとして公開されました。Pulsarは高い配信信頼性/パフォーマンス/スケーラビリティを誇るPub-Subメッセージングシステムです。Yahoo! Inc.において開発され、これまでYahoo! Inc.のメール、ファイナンス、スポーツなど主要サービスにおいて、メッセージを高速かつ消失することなく配信するために利用されて来ました。 Pulsar開発者によって書かれた技術ブログ：Open-
pythonのmultiprocessing.Queueとqueue.Queueの違い - cocuh's note
Queueというとpythonには3つのQueueが存在します． multiprocessing.Queue 17.2. multiprocessing — プロセスベースの並列処理 — Python 3.5.2 ドキュメント queue.Queue 17.7. queue — 同期キュークラス — Python 3.5.2 ドキュメント asyncio.Queue 18.5.8. キュー — Python 3.5.2 ドキュメント asyncio.Queue は get()がコルーチンであることから明らかに違います．またthread-safe/process-safeではありません queue.Queue はthread safeであり，thread間のやり取りには使えますがprocess間では使えません． multiprocessing.Queue はthread safeかつproc
Mesos Frameworkの作り方 (How to Make Mesos Framework)
Mesos勉強会 http://connpass.com/event/36415/ で発表したスライドです
Treasure Data Tech Talk 201607 レポート（古橋さんと成瀬さんの講演メモのみ） - 無印吉澤
イベント名：Treasure Data Tech Talk 201607 開催日時：2016-07-14(木) 会場：イベント＆コミュニティスペース dots. 先週末に、Treasure Data Tech Talk に参加してきました。このイベントは毎回濃い話を聞けるので、行けるときはなるべく参加するようにしています。 今回は、古橋さんによる Digdag での YAML 利用の話と、成瀬さんによる PerfectQueue の話が特に面白かったです。以下、講演内容のメモと、公開済みのスライドです。 講演内容 DigdagはなぜYAMLなのか？ (Sadayuki Furuhashi, @frsyuki) DigdagはなぜYAMLなのか？ from Sadayuki Furuhashi Digdag とは何か？ Workflow automation system Digdag で一
Golangのcontainer/listでスタックとキュー - Qiita
Golangのcontainer/listでスタックとキュー http://golang.org/pkg/container/list/ PopにはRemoveをつかう Pushは前に入れるPushFrontと後ろに入れるPushBackがある s.PushFron()とs.Remive(s.Front())を使ってStack q.PushBack()とq.Remove(q.Front())を使ってQueue 値はinterface型 Stack s := list.New() //init s.PushFront(x) //Push v := s.Remove(s.Front) //Pop package main import ( "fmt" "container/list" ) func stacktest(){ s := list.New() fmt.Print("--Stack-
std::queue - C++入門
std::queue とは、FIFO(ファーストイン ファーストアウト)のキューを実現するコンテナです。 読み方 std::queue えすてぃーでぃー きゅー 概要 キュー(queue)は、いわゆる待ち行列です。 キューは、最初に入れられたものが最初に取り出されます。先入れ先だしのリスト構造でデータを保持します。 取り出された値は、キューから削除されます。 キューへのデータ追加は、キューの一番後ろです。 簡単な例をあげるとレジに並んでいる人です。列の最初に並んだ人が最初にレジで対応してもらいます。あとから来た人は、列の一番後ろに並びます。 キューの追加 pushで列の後ろに追加します。
RabbitMQ 3.6の新機能「Lazy Queues」の概要と検証
はじめまして。DMM.comラボでインフラエンジニアをしております大山裕泰です。今回は、世の中にあまたある分散システムを支えるMQの雄の一つ「RabbitMQ」と、昨年12月にリリースされたv3.6.0において組み込まれた新機能「Lazy Queues」について、いったいどういうもので、どのように実装して、どんな結果になるのかをマルッと解説してしまおうと思います。本稿によって、読者の皆さまが携わる分散システムの開発・運用に少しでも役立てばと思います。 RabbitMQについて 今回フォーカスするRabbitMQは、AMQPという柔軟性と信頼性に富んだメッセージ転送を実現するプロトコルの実装になります。AMQPは、2003年にJPMorgan Chaseで開発されたメッセージ転送プロトコルで、柔軟なメッセージルーティングの実現に加え、送信元から送られたメッセージのキューへの格納、およびキュー
優先度付きキュー | Programming Place Plus アルゴリズムとデータ構造編【データ構造】 第１０章
トップページ – アルゴリズムとデータ構造編 この章の概要 この章の概要です。 優先度付きキュー ヒープによる実装 まとめ 練習問題 参考リンク 更新履歴 優先度付きキュー（プライオリティキュー）は、要素１つ１つに優先度が割り当てられており、その優先度に従った順に取り出されるというデータ構造です。キュー（第６章）という名前が付いていますが、要素を取り出すときのルールがまったく異なります。 優先度のルールは自由に決めて構いません。たとえば、整数を格納する優先度付きキューであれば、その要素の値自体を優先度と考え、優先度の昇順に取り出されるといった具合です。この方法の場合、適当に複数の要素を格納した後で、取り出し操作を繰り返し行えば、昇順に並んだ要素の組が得られます。 優先度付きキューを実装する手段はいろいろとあります。単なる配列だけでも実現できますし、リスト構造や、木構造を使うこともできます。
MySQL を使ったお手軽メッセージキュー実装 - ドワンゴ 研究開発ブログ
はじめに この記事では、MySQL を使って簡単なメッセージキューを手軽に実装する方法を解説します。 メッセージキューとは、メッセージを一時的に溜めておき、順次処理するための仕組みです。迅速なレスポンスが必要な Web アプリケーションにおいて、時間のかかる処理を非同期に行うために、バックグラウンドで順次処理していくような場合に利用できます。 簡単なメッセージキューと言っても、大規模な運用にも耐えられる程度の速度と堅牢性を持ちます。 また、ここで解説している方法で作られたメッセージキューは、弊社ウェブサービスであるニコニコ動画に最近追加されたtwitter連携機能でも利用しています。 メッセージキューを作るにあたって 今回実装するメッセージキューは メッセージの追加(push)を高速に行う事ができる メッセージの取得(pop)はある程度高速に行う事ができる 多くのクライアントから同時に p
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RQ: Documentation Overview
Loading...