1日最大20億ページのクローリングを安価に実現！『80legs』 | 100SHIKI
1日最大20億ページのクローリングを安価に実現！『80legs』 September 28th, 2009 Posted in 便利ツール（ウェブ） Write comment サービスの開発上、大量のウェブページのクローリングが必要な場合もある（お行儀良くやりましょうね）。 通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。 そこで「クローリングならうちに任せて！」と声を上げたのが80legsだ。 なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。 クローリングという実にニッチなサービスではあるが、必
wikihub.org （クローズドベータ）を公開しました - 肉とビールとパンケーキ by @sotarok
WikiHub で，どういうサービスかというと， WikiHub :: wikihub-wiki :: README です．それだけですが，個人的はわりかしよくできたのではないかと思っています． まだまだ色々足りてないですが，とりあえず一通り動くようになったのでクローズドベータとしてリリースしました． で，書いてある通りですが，クローズドベータとはいえ登録処理以外はオープンです．動作している様子は，上記のWikihubのヘルプみたいなやつや，riafが書くであろう(w)，rhaco2 の doc を見てください！ WikiHub :: rhaco2-doc :: README 実際にリポジトリHookして使ってみたい方は，twitter で @sotarok まで声かけてください．Closed beta 登録用のキーをDMします． 23時過ぎくらいにゼロから作りはじめて，初めてOpenID
Amazon Web Servicesのサービス一覧 - 元RX-7乗りの適当な日々
Amazon EC2やAmazon S3をはじめとした、Amazon Web Servicesは、あのインターネット上で"大型店舗"を展開するAmazonが、Amazon自身のサービスを運営するために構築し、長年にわたって多くの負荷に耐え、簡単にシステムがダウンしないよう改良してきた堅牢なコンピューティングプラットフォームです。 それらが今では、インターネットにアクセスできる一般ユーザにも、Amazonの保有するITインフラリソースが、簡単かつ非常に低価格から利用できるようにサービスとして公開されています。 # Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - 元RX-7乗りの適当な日々 これらの中でも、正式版(SLA有)として公開されているAmazon EC2やAmazon S3が有名な存在ですが、Amazon Web S
ブログを書いている人が FriendFeed を始めるべき７つの理由
先日職場で FriendFeed がブロックされることがありまして、一瞬背筋が冷たくなりました。というのも私は著名なブログはもちろん、本業で利用している学術雑誌の最新情報なども、リアルタイムでみたいものはすべて FriendFeed に仕掛けて読んでいたからです。 そのブロックはエラーだったようでほっと胸をなでおろしたのでしたが、このできごともあって、なぜ私がこのサービスにそれだけ執着しているか一度まとめておこうと思いました。まだまだ日本では認知度が低いといわざるを得ない FriendFeed がもっともりあがりますように！ 情報収集と発信をその活動の中心に据えているブロガーを主に主眼として、なぜ FriendFeed を使うことにメリットがあるのか、思いつく限り７つの理由です。 ブロガーとしての全活動を集約できる あなたがいつも念入りに動向をウォッチしているブログの著者が別のブログでコメ
twitterの奥にある日本人にはわからないところと、日本人的なtwitterとは？
トップ > twitter,ツイッター > twitterの奥にある日本人にはわからないところと、日本人的なtwitterとは？ いしたにまさきの新刊：HONDA、もうひとつのテクノロジー ～インターナビ×ビッグデータ×IoT×震災～ 01 それはメッカコンパスから始まった｜Ｈｏｎｄａ、もうひとつのテクノロジー 02 ～インターナビ×GPS×ラウンドアバウト～ 運転する人をサポートすること｜Ｈｏｎｄａ、もうひとつのテクノロジー 03 ～インターナビ×災害情報×グッドデザイン大賞～ 通行実績情報マップがライフラインになった日 2009.07.20 ここ２日のtwitterでの話題の中心のひとつが勝間さんでした。 いろいろな受け取り方をしている人たちがいますが、私は勝間さんツール使うのもツールの特性掴むのも、さすが上手だなあという印象です。 リンク: 【海外CM・映像アーカイブ】Gallian
[ウェブサービスレビュー]使い捨て可能なメールアドレスを2秒で発行！「Super Mailer」
内容：「Super Mailer（スーパーメイラー）」は、使い捨てのフリーメールアドレス、いわゆる「捨てアド」を無料で発行してくれるウェブサービスだ。メールの送受信はもちろんのこと、1日10通までメールを新規作成できるのが特徴だ。 「Super Mailer(スーパーメイラー)」は、使い捨てのフリーメールアドレス、いわゆる「捨てアド」を無料で発行してくれるウェブサービスだ。使い捨てのメールアドレスを発行してくれる点は前回紹介した「10 Minute Mail」と同様だが、国産のわかりやすいインターフェースを備えるのが大きな特徴だ。 「Super Mailer」にアクセスして「作成」ボタンを押すと、「2sec-****.supermailer.jp」という形式のメールアドレスが発行される。***の部分は英数字がランダムに割り当てられるほか、8文字までの任意の英数字を利用できるなど、自由度は高
![[ウェブサービスレビュー]使い捨て可能なメールアドレスを2秒で発行！「Super Mailer」](https://cdn-ak-scissors.b.st-hatena.com/image/square/bf3ba47a877e247d988ae22fc0f483e32a24fdcf/height=288;version=1;width=512/https%3A%2F%2Fjapan.cnet.com%2Fstorage%2F2010%2F12%2F11%2F3db8c8ebbac69792232aa95135109fa1%2Fstory_media%2F20396887%2Fsupermailer_184_138.jpg)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
