1日最大20億ページのクローリングを安価に実現！『80legs』 | 100SHIKI
1日最大20億ページのクローリングを安価に実現！『80legs』 September 28th, 2009 Posted in 便利ツール（ウェブ） Write comment サービスの開発上、大量のウェブページのクローリングが必要な場合もある（お行儀良くやりましょうね）。 通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。 そこで「クローリングならうちに任せて！」と声を上げたのが80legsだ。 なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。 クローリングという実にニッチなサービスではあるが、必
長尾真さん 蔵書デジタル化の現状と課題は？ - 毎日ｊｐ(毎日新聞)
◇時代に合う法律と制度を－－国立国会図書館長・長尾真さん（７２） －－米検索大手・グーグルの書籍全文検索サービスが、波紋を広げています。日本での書籍デジタル化はどこまで進んでいるのでしょうか。 ◆国会図書館ではデジタル化した蔵書を２００２年から提供し始めました。明治、大正期の著作権の切れた出版物を中心に約１５万点を「近代デジタルライブラリー」として公開しています。費用は約１４億円で、１万点のデジタル化に約１億円かかる計算です。 －－今年度の補正予算で約１２７億円の大幅増額が決まりましたね。 ◆膨大な文化遺産をデジタル環境で使えるだけでなく、デジタル化作業の雇用促進にも寄与するという提案を理解してもらった結果です。２年間で約９０万点を加えることができます。約３４００万点の蔵書のうち、デジタル化が必要なのは約１０００万点ですから約１０００億円。大きな金額ですが、それで日本の出版物すべてをデジタ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大英図書館、19世紀の新聞200万ページ分をネットで公開 
映像や文書「1000年保存できる」方法 慶大やシャープなど - NIKKEI NET（日経ネット）
