Webスクレイピングマスターが教える「スクレイピング対策」@09/16追記 - Qiita

はじめに こんな記事書いてる人です。 Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり2/28 Python Webスクレイピング 実践入門 【毎秒1万リクエスト!?】Go言語で始める爆速Webスクレイピング【Golang】 スクレイピングが大好きで、スクレイピングするためにAWSやVPS、Docker、サーバーレスなどなど1から勉強したりする人です。（もちろん遊びの範囲で） 今回はそんな毎日スクレイピングしている自分がされたら嫌だなぁって思う現実的なスクレイピング対策を教えます。(Flash使えばいいじゃんとか極論はNG) ※この記事はスクレイピングの対策であって、SEO的に不利になったりすることもあります。ご注意を 趣味で一つのVPS環境で複数のドメイン・サイトを管理できるCMSを作ったりもしてます。 1 サイトマップ・RSSフ

[prozorec]

なんか他人のサイトをパクるためのスクレイピングの話であって、ページ内の情報を適切に取り出して役立てるという話ではなかった

[rochefort]

どうでもいい話だった

[norando]

画像などの外部ファイルはリファラを使って直リンクを阻止／WebSubを導入してないオリジナルサイトよりWebSubを導入しているパクリサイト方を本物のコンテンツ配信者は見る場合も

[leokun0210]

最近スクレイピングしているから参考になる

[otchy210]

コスパの高い対策は SPA かなーと思った。UA が検索エンジンのクローラの時だけサーバサイドレンダリングして、SPA 側もヘッドレスブラウザ検知したらブロックするとか。JS の global 汚染である程度推測できるので。

[wordi]

Amazonの商品ページのHTMLもまちまちなのはスクレイピング対策なのかと思いそうになる