Flask with create_app, SQLAlchemy and Celery
I'm really struggling to the get the proper setup for Flask, SQLAlchemy and Celery. I have searched extensively and tried different approaches, nothing really seems to work. Either I missed the application context or can't run the workers or there are some other problems. The structure is very general so that I can build a bigger application. I'm using: Flask 0.10.1, SQLAlchemy 1.0, Celery 3.1.13,
Celeryでタスクをプリフェッチする数を変更する - 偏った言語信者の垂れ流し
celerydのメインプロセスは、タスクのメッセージをブローカーから受け取った後、ワーカープロセスに処理を実行させる。 メッセージをブローカーから受け取る際、実行中のものとは別に、事前にメッセージを取得(プリフェッチ)するようになっている。 全てのワーカープロセスが処理中であってもプリフェッチは行われる。 それぞれのタスクの処理に長い時間がかかる場合、複数のマシンでcelerydを動かしていても、このプリフェッチによってタスクが待ち状態になってしまう状況が発生する。 このプリフェッチ数は CELERYD_PREFETCH_MULTIPLIER の値を設定することで変更できる。デフォルト値は4。これは1ワーカーごとの値となる。(例: concurrencyを3に設定した場合は12) http://docs.celeryproject.org/en/latest/configuration.h
Celeryでキュー名を指定してタスクをルーティングする - 偏った言語信者の垂れ流し
2つ以上のホストでcelerydを起動し、タスクを処理させるホストを明示的に指定したい場合には、キュー名を指定することで実現できる。 Routing Tasks — Celery 3.1.23 documentation 試したバージョンは、Python 2.7、Celery 3.1.8、BrokerはRabbitMQ。 ワーカーのプロセスIDを返すタスクの作成 指定したプロセスで実行されたかを確認しやすいように、プロセスIDを返すだけのタスクを作成する。 spam.py import os from celery import Celery app = Celery('spam', backend='amqp', broker='amqp://guest@localhost//') @app.task def hello(): return os.getpid() キュー名はtaskデコ
Using Celery with Pyramid
This one falls under: “I knew there has to be an easy way!” While there’s pyramid_celery, last time I checked it had several shortcomings (back then I couldn’t configure celerybeat) and I felt in general that it shouldn’t be necessary to add another dependency that may or may not lag behind pyramid’s and celery’s latest releases. I also don’t really care for configuring celery inside of an .ini fi
Tailing Celery Task Output to a Browser Using gevent-socketio and Redis Pub/Sub
February 13, 2013 Tailing Celery Task Output to a Browser Using gevent-socketio and Redis Pub/Sub While working on a project at work I wanted to add a feature that displayed the output of a long running task in the browser in near real-time. This features was inspired by travis-ci.org. If you're unfamiliar with Travis, the browser client displays the build log output as it is happening. After some
Background Tasks with Celery — Flask Documentation (3.1.x)
Background Tasks with Celery¶ If your application has a long running task, such as processing some uploaded data or sending email, you don’t want to wait for it to finish during a request. Instead, use a task queue to send the necessary data to another process that will run the task in the background while the request returns immediately. Celery is a powerful task queue that can be used for simple
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://docs.celeryproject.org/en/master/whatsnew-4.0.html
Bitbucket | Git solution for teams using Jira