“とりあえずsettings.pyに以下の設定を追加しておきましょう。この設定により、平均3秒のクロール間隔が空き、robots.txtに従うようになります。 DOWNLOAD_DELAY = 3 ROBOTSTXT_OBEY = True ”

kent-where-the-light-is のブックマーク 2017/03/05 20:26

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/176155470/comment/kent-where-the-light-is" data-user-id="kent-where-the-light-is" data-entry-url="https://b.hatena.ne.jp/entry/s/orangain.hatenablog.com/entry/scrapy" data-original-href="https://orangain.hatenablog.com/entry/scrapy" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Forangain.hatenablog.com%2Fentry%2Fscrapy" data-user-icon="/users/kent-where-the-light-is/profile.png">PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor</a><br><p style="clear: left">“とりあえずsettings.pyに以下の設定を追加しておきましょう。この設定により、平均3秒のクロール間隔が空き、robots.txtに従うようになります。 DOWNLOAD_DELAY = 3 ROBOTSTXT_OBEY = True ”</p><a class="datetime" href="https://b.hatena.ne.jp/kent-where-the-light-is/20170305#bookmark-176155470"><span class="datetime-body">2017/03/05 20:26</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor

orangain.hatenablog.com2014/01/04

2016-12-09追記「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日...

611 人がブックマーク・25 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor

はてなブックマーク

公式Twitter

はてなのサービス