Webスクレイピングする際のルールとPythonによる規約の読み込み - Stimulator- はじめに - この記事は Webスクレイピング Advent Calendar 2017 - Adventar の1日目の記事です。 近年では、Pythonが様々な場面で使われるようになりました。 Webからデータを取ってくる際のスクリプトとして利用し、そのままデータを機械学習における学習データとするといった案件も多く見るようになっています。 ありがたい事に本年度書きました以下の記事は、はてなブログに投稿されたPython関連の記事の中で歴代はてブ数1位だそうです。 Webスクレイピングも日に日に情報が増え、様々なパッケージやフレームワークによって手軽になっています。 本記事は、スクレイピングやクローラを記述する際に抜けがちな、「規約」について記載するものです。 スクレイピングの間隔はどうすればいい？規約は？違法でないの？という人のために法律等もまとめています。 追記2019/01/0
https://dl.acm.org/doi/10.1145/511446.511466
https://dl.acm.org/doi/10.1145/1031114.1031117
(PDF) State of the Art in Semantic Focused Crawlers
(PDF) SOF: A semi-supervised ontology-learning-based focused crawler
https://dl.acm.org/doi/10.1145/371920.371965
https://dl.acm.org/citation.cfm?id=988714
https://dl.acm.org/doi/10.1145/2661829.2661902
https://dl.acm.org/citation.cfm?id=297835
https://dl.acm.org/citation.cfm?id=657633
Focused crawler - Wikipedia
https://dl.acm.org/doi/10.1145/2389936.2389949
https://dl.acm.org/doi/10.1145/2380718.2380762
Wayback Machine
Web-crawling reliability
208.dvi
main.dvi
Efficient Crawling Through URL Ordering
implementation.dvi
cooperation.dvi
