Dramatiq: simple task processing — Dramatiq 0.12.0 documentation
Dramatiq: background tasks¶ Release v1.17.0. (Installation, Changelog, Discuss, Source Code) Dramatiq is a background task processing library for Python with a focus on simplicity, reliability and performance. Here’s what it looks like: import dramatiq import requests @dramatiq.actor def count_words(url): response = requests.get(url) count = len(response.text.split(" ")) print(f"There are {count}
Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
Flask | The Pallets Projects
Flask is a lightweight WSGI web application framework. It is designed to make getting started quick and easy, with the ability to scale up to complex applications. It began as a simple wrapper around Werkzeug and Jinja and has become one of the most popular Python web application frameworks. Flask offers suggestions, but doesn't enforce any dependencies or project layout. It is up to the developer
charles leifer | Huey, a lightweight task queue for python
Huey, a lightweight task queue for python February 02, 2012 15:22 / huey python / 0 comments Note Just a heads-up, this post contains code examples for an out-of-date version of huey. If you're interested in seeing current example code, check out the documentation or this blog post. Preface At my job we've been doing a quarterly hackday for almost a year now. My coworkers have made some amazing st
GitHub製Resqueを使用したRubyでのバックグラウンド処理(バッチ処理) - Masatomo Nakano Blog - Web開発を極める
そこそこの規模のWebシステムになってくるとバックグランド処理(batch処理)は欠かせないものになってくる。メールの送信、データの日次、月次、年次処理、削除(フラグ)データのpurgeやバックアップ、等々いろいろな物が出てくる。 現在はBackgrounDRbを使っているが、いろいろといまいちなので今回Resqueを評価してみた。ちょっと触った段階での第一印象をメモ。 まず、バッチ処理系で評価のポイントになってくる部分はなんだろうかと考えてみると、なんと言っても見通しのよさと異常系の処理だと思う。画面系と違い、バッチ処理は「見えにくい」ところで実行されるので、その二つが特に大事になってくる。「知らないうちに止まっていました」では困るのがバッチ処理。 たとえば、 異常時の処理無視?管理者に通知?リトライ? 復旧処理タスクの削除(問題を修復後)リトライ 状態の監視いくつのJobが残っているか
Node.jsなWebアプリでJobQueueなしにラクラク巨大処理を実行 - たごもりすメモ
Node.jsでWebアプリを書いてるんだけど別に大量のリクエストをさばくわけでもないしWebSocketも使ってないし、じゃあなんでそんなことしてんの、という話。 まず結論だけ書くと、 並列度が低くてよいが長時間かかることが確定的な処理を非同期的に走らせる必要がある場合、普通はそのような用途でもJobQueue/Workerを使って構成するがそういうのは管理も面倒だしインストールも面倒くさくなるのであんまりやりたくない。Node.jsなら普通のWebアプリケーションフレームワークだけでラクに書けていいんじゃね？ というひとつの提案です。 同期実行のケース 普通Webアプリケーションフレームワークというのは、一連の処理はクライアントにレスポンスを返すことで完了する。そしてひとつのプロセス/スレッドはリクエストをディスパッチされてからレスポンスを返すまでがそのリクエストに占有される。 ここで
kestrelの作者さんによるkestrelの紹介 - hito_asaの日記
古い記事ですが、kestrelの作者さんによるkestrelの紹介。 http://robey.lag.net/2008/11/27/scarling-to-kestrel.html 生い立ち もともとScalingという名前だったそうです。 というのも、RubyにあるStarlingというMQサーバーをScalaに移植しようとして作り始めたそうで、memcacheプロトコルを使うという仕様もここからきています。 Starlingについてはhttp://www.rubyinside.com/starling-and-rudeq-persistent-ruby-queues-958.html だけど色々機能を追加したからちゃんと名前つけようか、ということでkestrelになったとのこと。 kestrelで実装した3つの機能について。以下、簡単に和訳します。 （Fanoutについては別のエント
MySQL を使ったお手軽メッセージキュー実装 - ドワンゴ 研究開発ブログ
はじめに この記事では、MySQL を使って簡単なメッセージキューを手軽に実装する方法を解説します。 メッセージキューとは、メッセージを一時的に溜めておき、順次処理するための仕組みです。迅速なレスポンスが必要な Web アプリケーションにおいて、時間のかかる処理を非同期に行うために、バックグラウンドで順次処理していくような場合に利用できます。 簡単なメッセージキューと言っても、大規模な運用にも耐えられる程度の速度と堅牢性を持ちます。 また、ここで解説している方法で作られたメッセージキューは、弊社ウェブサービスであるニコニコ動画に最近追加されたtwitter連携機能でも利用しています。 メッセージキューを作るにあたって 今回実装するメッセージキューは メッセージの追加(push)を高速に行う事ができる メッセージの取得(pop)はある程度高速に行う事ができる 多くのクライアントから同時に p
だいぶAMQPの概要が分かってきた - スコトプリゴニエフスク通信
RabbitMQで遊び、関連ライブラリを調べているうちにだいぶAMQPの概要が分かってきた。現時点で、参考になった資料を列挙しておく。 導入・基本概念 Introduction to AMQP Messaging with RabbitMQhttp://www.slideshare.net/somic/introduction-to-amqp-messaging-with-rabbitmqpy-amqplibのサイトから辿っていくうちにみつけたスライド。最初は読み流してしまったけど、後で見返すとAMQP, RabbitMQ, AMQPクライアント・ライブラリについて非常によくまとまっている。 クライアント・ライブラリ実際にコードを書いて試してみるにあたっては、次の二つのページが役にたった。http://www.rabbitmq.com/api-guide.htmlhttp://hopper
ジョブキューサーバ Gearmand を PHP から使ってみた - KAYAC engineers' blog
もうすぐ子供が生まれます。春菜です。 今やってるプロジェクトで新機能追加を検討していて、Perl で有名な「TheSchwartz のようなジョブキューシステムとか試してみたいなぁ。」 なんて話してたらちょうど弊社 村瀬 が社内 TIPS 会で Gearmand について話してたので使ってみました。 Gearmandって何？ 元々は Perl で書かれたジョブキューシステムで、つい最近 C でリライトされたようです。 クライアントライブラリとして CPAN はもちろんのこと、PHP や Python などたくさん用意されていて活発的に活動されているみたいです。(期待大！！) PHP では PECL と PEAR のクライアントライブラリが利用でき、本家サイトでも PHP のサンプルが多く紹介されていてそのまま試す事ができて楽チンです。 インストールと起動 ローカルの Mac にインストール
ニコニコ大百科アラートでのメッセージキュー設計について。 - グニャラくんのグニャグニャ備忘録@はてな
お風呂でメモ。 要件 ニコニコ大百科で起こったイベントのうち、 ユーザが指定したものだけを通知するクライアントアプリケーションを作成したい。 なお、すべてのイベントは漏れなくユーザに伝わることとし、 すべてのユーザに送られる情報は同一とする。 イベントが起こった「直後」にイベントが通知されることが望ましい。 計算負荷・ネットワーク負荷が軽い方法がよい。 サーバ側はRuby、クライアント側はPythonを用いる。 さて、どのような通信方式でデータをやりとりすべきか。 RSS/ATOM まず考えられるのが、RSSやATOMなどの採用。クライアント側でもライブラリなどがあってお手軽。 feedのエントリ数が固定だと、pollingの間にすべてのイベントが流れてしまう恐れがある。 よって、feedのエントリ数は可変とし、一定の時間内に起こったイベントを全て記録することとする。 一定の時間内に起こっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - bgentry/que-go: UNMAINTAINED: An interoperable Golang port of the Ruby Que queuing library for PostgreSQL. Use River instead.
Queues in Python – dbader.org
GitHub - closeio/tasktiger: Python task queue using Redis
http://kr.github.io/beanstalkd/
http://neta.ywcafe.net/001023.html
Google Code Archive - Long-term storage for Google Code Project Hosting.