はてなブックマーク

Webスクレイピング Advent Calendar 2017 21日目の記事です。 趣味でクローリング・スクレイピングをするときがあります。その作業が長時間に及ぶときは、サーバーでバッチを動かして、クローリング・スクレイピングをやっています。この記事ではそのときに行った工夫について話したいと思います。あまり深く考えてないで雑にやっているので、改善点等があればコメントをお願いします。 想定するクローリング・スクレイピングのシーン 商品一覧ページをスクレイピング 各商品の詳細ページをスクレイピング 別の商品一覧ページに移動し、最初に戻る これを商品一覧ページ全部をたどるまで続けます。 さらに、商品一覧ページのURLは、https://hogehoge/list/page/12 のようにURL中にページ番号があるものを想定します。つまり、上記手順3では、ページ番号を1つ増やして、別の商品一覧ペ