技術的には参考になる記事。だけど、IPアドレスやUAでブロックして「来ないでね」と規約上も挙動上も意思表示しても、IPアドレスを何度も変えてアクセスしてくるクローラーに困っている立場からすると複雑な心境。

dogwood008 のブックマーク 2020/05/16 02:27

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4685727791220086210/comment/dogwood008" data-user-id="dogwood008" data-entry-url="https://b.hatena.ne.jp/entry/s/techblog.zozo.com/entry/crawler-cloud-service" data-original-href="https://techblog.zozo.com/entry/crawler-cloud-service" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Ftechblog.zozo.com%2Fentry%2Fcrawler-cloud-service" data-user-icon="/users/dogwood008/profile.png">クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG</a><br><p style="clear: left">技術的には参考になる記事。だけど、IPアドレスやUAでブロックして「来ないでね」と規約上も挙動上も意思表示しても、IPアドレスを何度も変えてアクセスしてくるクローラーに困っている立場からすると複雑な心境。</p><a class="datetime" href="https://b.hatena.ne.jp/dogwood008/20200516#bookmark-4685727791220086210"><span class="datetime-body">2020/05/16 02:27</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG

techblog.zozo.com2020/05/15

こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の...

104 人がブックマーク・14 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG

はてなブックマーク

公式Twitter

はてなのサービス