明日のために生きたふり » 不用心なクローリングでつかまらないために僕らがやらないといけないこと(匿名プロキシでクローリング)
You play with the cards you're dealt..Whatever that means. 不用心なクローリングでつかまらないために僕らがやらないといけないこと(匿名プロキシでクローリング) (c) BuddhaEyes｜写真素材 PIXTA 先日(結構前ですが)岡崎市立中央図書館のサイトを クロールしていた人が、逮捕されるという事件がありました。 まとめ その行為が、法的にひっかっかるかどうかはさておき、 この結果は、普段クローラを書く人からすると恐怖以外の何物でもありません。 正直、自分の生活をちょっと便利にするために2,3時間でさくっと書いたプログラムが原因で、突然お縄につくとかやってられません。 もはや私たちを守ってくれるのは匿名のプロキシサーバだけです。 (もちろん100%安全とは言い切れませんが) というわけで、今回は匿名プロキシサーバを利用し
mod_proxyのProxyPassReverseの意味がようやく理解できた - うまいぼうぶろぐ
気がする！ なぜProxyPassReverseにbalancer://~~ を設定できないのか *1 なぜProxyPassReverseにajp://~~ を設定できないのか なぜbackendがhttpとajpの場合で、ProxyPassReverseに設定するURLが異なるのか などなど。今まではmod_proxyする機会がほとんどなく適当にお茶を濁していたので、世間の人から相当遅れているとは思いますが、せっかくなので自分用まとめ。思いついたことをつらつらとメモっているからかなり冗長ですが。 追記 20100907 http://ftp.riken.jp/net/apache//httpd/CHANGES_2.2 apache 2.2.12 から、balancer:// のURLにもProxyPassReverseが使えるようにmod_proxyがパワーアップしていました。 *)
Web開発者が知っておくべきローカルプロキシーツール Fiddler - すがブロ
最近の愛用は Firefox を普段使っている時は、 HttpFox を使っています。 昔は Live HTTP Headers :: Add-ons for Firefox を使っていたのですが、けして見やすいというわけでは無かったのと、実際にボディの中身を見たいという時にパワー不足が否めません。 そこで、 HttpFox です。 HttpFox :: Add-ons for Firefox レスポンスコードを色分けしてくれたりするので、個人的には見やすいと思う。 たぶん、Firebug の接続タブでも同等のことができると思うのだけど、ウィンドウ領域の使い方とか、色分けの部分とかで HttpFox の方が好き。 こんな感じで閲覧できます。 リクエストパラメータ等も見やすく整形してくれるので助かります。 本題 本題は HttpFox ではなく、Fiddler についてです。 Fiddler
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
