Scrapy で相対パスを解決して絶対パスに変換 for v1.0.4 - 無駄と文化

スクレイピングネタです。 Scrapy は Spider の perse() メソッドの中で新しい Request オブジェクトを yield してあげるだけで、次々に URL を辿ってクローリングしていけるので便利ですね。 例えば、response.xpath("//a/@href").extract() とかすればページの中のリンクを取得するのも容易です。 ただし、取得したリンクの href が全て絶対パスで書かれている保証はありません。 もしも、相対パスで書かれていた場合は(そういう場合は多いでしょう)、相対パスを解決して絶対パスにしてあげなくてはいけません。 Python で相対パスの解決をしようと思えば、urlparse モジュールの urljoin() を使うのが普通です。 が、Scrapy には urlparse.urljoin() 相当のメソッドが最初から組み込まれているの

[todays_mitsui]

ブログ書いた。Scrapyの日本語情報少なすぎるから小ネタでもどんどんぶっ込んでいくよ〜。