Javaで作成してみることにしました。 Rubyを軽く調べてみて、ソケット通信が簡単なことはわかりましたが、HTTP通信の制御をエラー処理も含めて全て自分で実装しないといけないので時間がかかるから却下。 PHPとPerlとHTTP_Clientパッケージ、JavaのJakarta CommonsのHttpClientパッケージを使ってみましたが、URLがリダイレクトだった場合の処理を、JavaのHttpClientだと自動でしてくれるので非常に楽でした。PHPやPerlだと、StatusCodeとリダイレクト先URLを戻されて再度問い合わせをする処理を自分で記述する必要があるみたいで、それだったらソケット通信から作成してもあまり変わらないなぁと言うことでJavaが楽と言う判断。とりあえず検索クローラーを動かす予定のマシンはRH系のクローンOSだし問題ないかなと思います。 Jakarta C