タグ

100shikiとcrawlerに関するkana321のブックマーク (1)

  • 1日最大20億ページのクローリングを安価に実現!『80legs』 | 100SHIKI

    1日最大20億ページのクローリングを安価に実現!『80legs』 September 28th, 2009 Posted in 便利ツール(ウェブ) Write comment サービスの開発上、大量のウェブページのクローリングが必要な場合もある(お行儀良くやりましょうね)。 通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。 そこで「クローリングならうちに任せて!」と声を上げたのが80legsだ。 なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。 クローリングという実にニッチなサービスではあるが、必

    1日最大20億ページのクローリングを安価に実現!『80legs』 | 100SHIKI
    kana321
    kana321 2014/03/15
    なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている
  • 1