Scrapy の start_urls をファイルから読み込む for v1.0.4 - 無駄と文化

表題の通り、 Scrapy の start_urls を外部ファイルから読み込んで設定する方法を書き留めます。 Scrapyのバージョンは 1.0.4 を想定しています。 導入 まず、scrapy コマンドで生成されるプレーンなスパイダーを見てみましょう。 $ scrapy startproject scrapy_sample $ cd scrapy_sample $ scrapy genspider example exapmle.com こんな感じで scrapy コマンドを叩くと、spiders ディレクトリの中に example.py が生成されます。 scrapy_sample/spiders/example.py # -*- coding: utf-8 -*- import scrapy class ExampleSpider(scrapy.Spider): name = "e

[todays_mitsui]

ブログ書きました。またまたスクレイピングネタです。