Scrapyの非同期DBパイプライン - Qiitaこの辺の情報がなさそうだったので。 http://shop.oreilly.com/product/9781784399788.do 唯一のScrapy本の「Learning Scrapy」本によると、 DBパイプラインは以下のような感じにするのがよいらしい。 通常の同期的に書くとブロッキングされるので、非同期で書く。 twistedにDBプーリングの仕組みが提供されているので、それを使う(DBAPI2インタフェースならどのDBでもよい） import logging from twisted.enterprise import adbapi from twisted.internet import reactor, defer class DatabaseWriterPipeline(object): @classmethod def from_crawler(cls, crawler)
