サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
bz0.hateblo.jp
サイト管理者が立てるであろうスクレイピング対策 サイト管理者の目線で、行うであろうスクレイピング対策から スクレイピングする側で、どう対処すべきか考えてみます。 (スクレイピング対策しているという事は、マジで迷惑だから辞めろやという事だと思うので スクレイピングするなという話ではありますが。。。) 考え方 結論 ・機械的なアクセスをしない。人間的なアクセスに近づける。 参考 悪質なボットによるアクセスの見分け方 http://markezine.jp/article/detail/9834 ・ アクセスしてくるURLのパターンからボットを見分ける ・同じIPアドレスからのアクセスの間隔が常にほぼ同じ秒数間隔 ・同じIPアドレスから、同じユーザーエージェントで大量にアクセスが行われているか ・ 人間らしくないきっちりしすぎるアクセス ・ アクセス元のIPアドレスを集計している ・ 何度もアク
このページを最初にブックマークしてみませんか?
『bz0.hateblo.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く