1日最大20億ページのクローリングを安価に実現！『80legs』 | 100SHIKI
1日最大20億ページのクローリングを安価に実現！『80legs』 September 28th, 2009 Posted in 便利ツール（ウェブ） Write comment サービスの開発上、大量のウェブページのクローリングが必要な場合もある（お行儀良くやりましょうね）。 通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。 そこで「クローリングならうちに任せて！」と声を上げたのが80legsだ。 なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。 クローリングという実にニッチなサービスではあるが、必
透明性の低いコミュニケーション | smashmedia
ごめんなさい。smashmediaのブログは削除されました。 10年に渡り、あちらこちらに書き連ねてきましたが、ご愛読いただきほんとうにありがとうございました。またリンクしてくださった方にも、心からお礼申し上げます。 以下、少し駄文を書きます。 ブログには「パーマリンク」という基本的な考え方があり、すべての発言や記事は半永久的に固定されたURLによって公開され、未来におけるアクセス権（閲覧可能性）を担保するという、じつに素敵なコンセプトなのですが、一方で古い情報が永遠に残り続けてしまうという弊害も生んでいます。 ブログというものが「ストック」であるならば、そこに書かれた内容に対して、書き手であるブログ運営者は責任をもつべきで、自らの考え方が変われば内容を更新し、状況や情報が変われば現在にあわせて修正すべきです。 でも現実問題として、そこまでさかのぼって更新や修正をできるほうが稀で、結果とし
SaaSを停止、会社も清算して“次”に挑む
サイボウズ創業者の高須賀宣氏が単身米国に渡り、設立したベンチャー企業の「LUNARR」。同社は2009年5月10日（現地時間）、SaaS（ソフトウエア・アズ・ア・サービス）型コラボレーション・ソフト「LUNARR」の提供を停止した（関連記事）。サービスを突然停止した理由は何か。高須賀氏が単独インタビューに応じた。（聞き手は矢口 竜太郎＝日経ソリューションビジネス） LUNARRの目標は、09年2月までに10万ユーザーの獲得でした。実際はどの程度までユーザー数を拡大できましたか。 09年5月のサービス終了時のユーザー数は6000人です。計画通りにはいきませんでした。 ユーザー数が伸びなかったのがサービス終了の原因ですか。 直接の原因はそうです。ではどうすればよいかを考え抜きました。個人で出資した資本金約10億円のうち、半分はまだ残っています。サービスを続けようと思えば、続けることはできました
常に最新状態であり続けるアンチウイルスソフト『Panda Cloud Antivirus』 | ライフハッカー・ジャパン
Windowsのみ ： 『Panda Cloud Antivirus』はクラウドコンピューティングのパワーを活用して、新規のマルウェアなどもリアルタイムで認識し、PCのウイルススキャン・ウイルス駆除を行ってくれる強い味方。従来のアンチウイルスアプリは定期的にサーバーから更新をダウンロードし、最新状態でウイルススキャンを実施する、というものでしたが、『Cloud Antivirus』は新規ウイルスの分類作業やスキャン作業をクラウドシステムを使って行うので、ソフトを起動させているすべてのPCからの情報に基づく常にリアルタイムな更新、最新状態の維持が実現されています。 しかもかなり軽量でテストしてみた際にはRAM使用量はわずか16MBでした。オフライン使用向けに定義のコピーをキャッシュしますが、これもそれほど容量を占拠しているようには思えませんでした。実際のマルウェアには直面しなかったのでテスト
Amazon EBSを活用してデータをバックアップしてみよう ～Amazon EC2/S3環境構築のすべて～
今回は、「Amazon EC2」のインスタンスを停止してもデータが失われないストレージオプションである「Amazon Elastic Block Store（EBS）」の使い方や活用方法を紹介し、「Amazon EC2」を取り巻くデータバックアップ方法を紹介していきます。 はじめに 前回は、「Amazon EC2」をより実践的に扱うためのオプションや、GUIで簡単に操作できるツールの利用手順を紹介しました。 今回は、「Amazon EC2」のインスタンスを停止してもデータが失われないストレージオプションである「Amazon Elastic Block Store（EBS）」の使い方や活用方法を紹介し、「Amazon EC2」を取り巻くデータバックアップ方法を紹介していきます。 前提条件 今回も前回同様「Amazon EC2 Command-Line Tools」を利用した方法を紹介していき
“すべてクラウド”も間近!? 「ZumoDrive」を使ってみた － ＠IT
2009/01/23 オンラインストレージサービスは古くからあるが、汎用クラウドサービスの登場で、その使い勝手が急速に進化している。2009年1月に入ってプライベートベータテストを始めた「ZumoDrive」は、エンドユーザー向けのサービスとしては、現時点で最も先進的な利便性とリーズナブルな価格を実現したサービスの1つだ。ZumoDriveはAmazon S3をバックエンドに使い、ローカルPCのOSに透過的にマウントできる仮想ドライブを提供する。ファイルはクリックして初めてストリーム配信されるため、ローカルストレージは、もはや主従関係でいえば従の“キャッシュ”として機能する。 ZumoDriveを使ってみたい読者は、同サービスのWebサイトで招待コード“itmedia”を入力してみてほしい。現在ZumoDriveはプライベートベータテスト中だが、＠IT読者に対して先着で500アカウントまで
わずか5分でWindows Serverを準備する(動かす)方法 (Windows Server on Amazon EC2) - 元RX-7乗りの適当な日々
先日、SLAが発表され、正式版(Production)となった"Amazon EC2"ですが、それと同時にベータ扱いではありますが、"Windows Server"へ対応したとのことなので、試してみることにしました。 これまでAmazon EC2上で稼動できるOSは、Linuxがメインで、中にはベンダーが保守もしてくれるRedHat Enterprise LinuxやOracleが稼動するAMI(Amazon EC2の仮想OSイメージ)もあったのですが、Windowsが正式に動くこととなり、利用シーンの幅がより大きく広がったのではないでしょうか。 # あ、Linuxだけではなくて、OpenSolarisもありましたね。 というわけで題して、何もないところから5分でWindows Serverを動かすところまで、やってみます。このエントリでは、その方法をチュートリアル形式で紹介します。 前提
AmazonS3上のファイルを国内でも高速配信可能なAmazon CloudFrontリリース : Media Technology Labs (MTL) : メディアテクノロジーラボ ブログ
Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や
メディア・パブ: クラウドコンピューティング市場/技術を俯瞰する図
2008年はクラウドコンピューティングの年になる。そのようなことを昨年末に書いた覚えがある（この記事）。バズワードとしてWeb2.0が陳腐化してきた昨年あたりから脚光を浴び始めたのが，クラウドコンピューティングである。 確かに旬のテーマになってきた。でもしばらくウォッチしていないと，方向感覚を失ってしまっていた。クラウドコンピューティング市場/技術の全体像をビジュアルな図で紹介しているブログに出会ったので，取り上げて見る。 ドイツの技術リサーチャーMarkus Klems氏 (Research assistant at Germany-based FZI Research Center for Information Technology)のブログである。最初の図は，クラウドコンピューティングのプレーヤーを示している。 Merrill Lynchの“The Cloud Wars: $100
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterのハッカーとのコンタクトに成功―攻撃手口の詳細が判明した