タグ

PythonとCeleryに関するsuzukiMYのブックマーク (3)

  • Task Queues - Full Stack Python

    タスクキュー タスクキューは通常のHTTPリクエスト/レスポンスのサイクルの外側で実行されるバックグラウンド処理を管理します。 なぜタスクキューは必要? HTTPリクエストをきっかけに行われない、またはHTTPレスポンスを返す際のパフォーマンスを著しく低下させる恐れのある処理は非同期で扱います。 例えば、Webアプリケーションは10分毎にGitHub APIからスターが多い順に100個のレポジトリを取得しているとします。タスクキューを使ってGitHub APIの呼び出しを管理し、APIのレスポンスを処理してデータベースに保存しておきます。 他の例として、HTTPリクエスト/レスポンスのサイクルの中でデータベースへのクエリに時間がかかりすぎている場合を挙げましょう。クエリをバックグラウンドで一定時間ごとに実行し、データベースに保存することもできるでしょう。HTTPリクエストが来たら、時間のか

  • Homepage | Celery: Distributed Task Queue

    This document describes the current stable version of Celery (5.5). For development docs, go here. Celery - Distributed Task Queue¶ Celery is a simple, flexible, and reliable distributed system to process vast amounts of messages, while providing operations with the tools required to maintain such a system. It’s a task queue with focus on real-time processing, while also supporting task scheduling

    suzukiMY
    suzukiMY 2017/04/25
    分散メッセージ・パッシングに基づく非同期タスク/ジョブ・キュー。リアルタイム操作にフォーカスしてるがスケジューリングもサポート。Webフレームワークとの統合が容易。Python製だが他言語でも実装可能。
  • RQ: Simple job queues for Python

    RQ (Redis Queue) is a simple Python library for queueing jobs and processing them in the background with workers. It is backed by Redis/Valkey and is designed to have a low barrier to entry. It integrates easily with your web or application stack. RQ requires Redis >= 5 or Valkey >= 7.2. Getting Started First, run a Redis/Valkey server. To put jobs on queues, you don’t have to do anything special,

    suzukiMY
    suzukiMY 2016/12/13
    CeleryやResqueにインスパイアされた、バックグラウンドで動作するキューイングジョブとプロセッシングのためのシンプルなPythonライブラリー。
  • 1