Scrapyの非同期DBパイプライン - Qiita
この辺の情報がなさそうだったので。 http://shop.oreilly.com/product/9781784399788.do 唯一のScrapy本の「Learning Scrapy」本によると、 DBパイプラインは以下のような感じにするのがよいらしい。 通常の同期的に書くとブロッキングされるので、非同期で書く。 twistedにDBプーリングの仕組みが提供されているので、それを使う(DBAPI2インタフェースならどのDBでもよい） import logging from twisted.enterprise import adbapi from twisted.internet import reactor, defer class DatabaseWriterPipeline(object): @classmethod def from_crawler(cls, crawler)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to design an async pipeline pattern in python
