※本サイトはプライバシー保護のため暗号化通信を導入しています。 ※ネットプリントおよびnetprintは、富士フイルムビジネスイノベーション株式会社の登録商標です。 ※他社の商標について
1日最大20億ページのクローリングを安価に実現!『80legs』 September 28th, 2009 Posted in 便利ツール(ウェブ) Write comment サービスの開発上、大量のウェブページのクローリングが必要な場合もある(お行儀良くやりましょうね)。 通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。 そこで「クローリングならうちに任せて!」と声を上げたのが80legsだ。 なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。 クローリングという実にニッチなサービスではあるが、必
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く