1日最大20億ページのクローリングを安価に実現！『80legs』 | 100SHIKI
1日最大20億ページのクローリングを安価に実現！『80legs』 September 28th, 2009 Posted in 便利ツール（ウェブ） Write comment サービスの開発上、大量のウェブページのクローリングが必要な場合もある（お行儀良くやりましょうね）。 通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。 そこで「クローリングならうちに任せて！」と声を上げたのが80legsだ。 なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。 クローリングという実にニッチなサービスではあるが、必
夏の自由研究に「Eucalyptus」でクラウドを作ってみないか？ - builder by ZDNet Japan
トップランナー対談：前編 成長を続けるEDR市場で何がおきているのか ラック×クラウドストライクによる徹底議論 単純なインフラ製品の販売ではない DX、コンテナプラットフォームの実証など 自社の取り組みで得られた知見を顧客に提案 現場業務のデジタル化の最適解 JBSのアプリポケットとアプリメーカーが 企業のデジタル化をサポート 中小企業のひとり情シスの現実 夢か幻か、はたまた現実か？ ヘルプデスク業務の週休4日制を考える ネットワークもサービスとして使う いま企業ネットワークが受ける大きな制約 クラウドシフトで大きく変わる！ デジタル時代のITインフラ構築術 仮想化統合、クラウドを経て今「マルチ」へ ITインフラの最適化と継続的進化への道筋 RPAによる自動化を年30万で実現 小さな投資が目に見える大きな効果に！ デジタル化によるわかりやすい業務効率向上 AI/IoTの時代を見据えた挑戦
PHP開発者もクラウド開発を始めよう！（1/4） - ＠IT
特集：PHP on Windows Azure PHP開発者もクラウド開発を始めよう！ デジタルアドバンテージ 一色 政彦 2009/07/28 2009年7月16日、Webデザイナ／Web開発者向けのイベント「ReMIX Tokyo 09」が東京ミッドタウン・ホールにて開催され、新登場したSilverlight 3や、マイクロソフトのクラウド・プラットフォームと絡めたWeb開発などのセッションが開かれた。その中でも、今回レポートするのは「Silverlight + PHP (FastCGI) + Windows Azure で作る初めてのクラウド アプリケーション」というセッションだ。 セッションの前半では、Windows Azure Platform（従来は「Azure Services Platform」と呼ばれていた）の概要やWindows Azureでの基本的な開発／運用方法が、
実開発で分かったGoogle App Engine for Javaの“すごさ”
ゴールデンウィークに特に予定のなかった筆者は，「ちまたで噂のGoogle App Engine for Java（GAE/J）とFlexでスケジュール共有ツールでも作ってみよう」と思い立ちました。およそ5日間かけて開発を進めたのち，2009年5月6日に「ご都合.com（画面1）」を公開しました。その後，はてなブックマークやニュースサイトなどでご紹介いただいたおかげで，公開後6日で約2000人の方にご利用いただいています。 そこで本稿では，この「ご都合.com」の開発で実際に筆者が得た経験を通じて，GAE/JによるWebアプリケーション開発の実際とそのポテンシャルについて紹介します。 米Googleが2008年4月に発表したGoogle App Engine（画面2）は，「自分が開発したWebアプリケーションをGoogleのデータセンターで運用できるクラウドコンピューティング・サービス」です
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テクノロジー : 日経電子版
