自分だけのカスタマイズされたHTTPプロキシを作る·node-http-proxy MOONGIFT
node-http-proxyはnode.jsで開発されたHTTPプロキシサーバ。 node-http-proxyはJavaScript/node.js製のオープンソース・ソフトウェア。開発時に公開用サーバではなく、ローカルまたは自社内のテスト用サーバに接続して行うケースは多々ある。そんな時にごく小規模なチームならhostsファイルを書き換えて対応できるだろう。 だが複数のプロジェクトが平行していたり、人数が多くなるとそのような対応では面倒になるかも知れない。そんな時にはプロキシを立てて、設定をプロキシサーバに依存してしまうのが良さそうだ。カスタマイズが柔軟なプロキシとしてnode-http-proxyを紹介しよう。 node-http-proxyはまさにそうした小規模なネットワーク接続を代行するのにちょうど良いサイズだ。HTTPベースのプロキシサーバとして動作し、基本的には投げられたリク
明日のために生きたふり » 不用心なクローリングでつかまらないために僕らがやらないといけないこと(匿名プロキシでクローリング)
You play with the cards you're dealt..Whatever that means. 不用心なクローリングでつかまらないために僕らがやらないといけないこと(匿名プロキシでクローリング) (c) BuddhaEyes｜写真素材 PIXTA 先日(結構前ですが)岡崎市立中央図書館のサイトを クロールしていた人が、逮捕されるという事件がありました。 まとめ その行為が、法的にひっかっかるかどうかはさておき、 この結果は、普段クローラを書く人からすると恐怖以外の何物でもありません。 正直、自分の生活をちょっと便利にするために2,3時間でさくっと書いたプログラムが原因で、突然お縄につくとかやってられません。 もはや私たちを守ってくれるのは匿名のプロキシサーバだけです。 (もちろん100%安全とは言い切れませんが) というわけで、今回は匿名プロキシサーバを利用し
Ruby HTTP並列を処理を高速化、"Typhoeus"登場 | エンタープライズ | マイコミジャーナル
Ruby blog with daily news, links, code and tips Webサービスが多様化する中、最近のWebサイトやWebアプリケーションにはより多くのHTTPリクエストを並列に処理する必要が求められているかもしれない。とくにTwitterのように細かいメッセージを頻繁にやりとりするようなサービスを構築する、またはそうしたサービスに対応するとなると、システム側も高速な並列HTTP処理が必要になる。 Ruby InsideにおいてTyphoeus: A High Speed, Parallel HTTP Library for Rubyのもと、Rubyで活用できる高速並列HTTPライブラリ「Typhoeus」が紹介されている。Rubyデベロッパは一度チェックしておきたい。組み込みのNET::HTTPライブラリと比較してもHTTPartyよりも多種多様なHTTPリ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
