クローラ作成の際に考慮したいポイントについてcrawling.md クローラ作成の際に考慮したいポイントについて 本記事は Webスクレイピング Advent Calendar 2017 - Adventar の6日目の記事です。滑り込みギリギリアウトでした。 誤字脱字等はTwitterまでお願いします。 はじめに 最近、Pythonの入門書などでクローリングやスクレイピングが取り上げられることが増えてきました。実際スクレイピングは、文字列の取扱などを含むためプログラミングの教材としても適しておりますし、CSVに落とし込めばデータ分析できるなど、活用の幅も広いです。 クローラとは、Webサイトの巡回プログラムです。典型的には、検索エンジンがインターネット上にあるWebサイトを索引付けするために用いられます。もし、スクレイピングを定期的に実行するならば、それはたぶんクローラだといえるでしょう。筆者は、個人および業務として、クローラを作
