id:fits:20110925 や id:fits:20111016 でやったような Web コンテンツのダウンロード処理を Apache ZooKeeper を使って分散処理してみました。 Apache ZooKeeper は分散システム間で協調動作させるためのサーバーソフトウェアで、シンプルで可用性が高くなるように設計されています。 今回は、スタンドアロンモードで立ち上げた単一の ZooKeeper サーバーに URL を設定した znode*1 を登録しておき、複数のプロセスで実行したスクリプトがそれぞれ URL を取得し、Web コンテンツをダウンロードするような処理を行います。 Groovy 1.8.4 Apache ZooKeeper 3.4.0 サンプルソースは http://github.com/fits/try_samples/tree/master/blog/2011