1日最大20億ページのクローリングを安価に実現！『80legs』 | 100SHIKI
1日最大20億ページのクローリングを安価に実現！『80legs』 September 28th, 2009 Posted in 便利ツール（ウェブ） Write comment サービスの開発上、大量のウェブページのクローリングが必要な場合もある（お行儀良くやりましょうね）。 通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。 そこで「クローリングならうちに任せて！」と声を上げたのが80legsだ。 なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。 クローリングという実にニッチなサービスではあるが、必
マイナーなサイトから検索したい・・・というときに使える『feedmil』 | 100SHIKI
マイナーなサイトから検索したい・・・というときに使える『feedmil』 April 22nd, 2009 Posted in 検索 Write comment ロングテール検索エンジンと銘打たれたのがfeedmilだ。 このサイトではスライダーを使って検索結果を絞り込んでいくことができるのだが、これを使えば「マイナーなサイトだけから探してくれ」といったことが可能になる。 普通の検索エンジンでは一般的にメジャーで有名なサイトを検索対象にしているので逆転の発想といえるだろう。利用シーンは限られるが、わりと便利なのではなかろうか。 また「メジャー」「マイナー」といった軸だけでなく、その検索キーワードにかかわる各種要素についてもスライダーで検索結果を調整していくことができる。 たとえば「iPhone」で検索したときは、「Appleに関連するものをたくさん」「ゲームに関するものをたくさん」といった
無料で自由に使えるライセンスのアイコンばかりを怒涛のごとく集めた『iconPot』 | 100SHIKI
あ、すっごい便利。 iconPotは無料！、かつ、商用利用もOK！、かつ、クレジット記載も不要！というアイコンばかりを集めたサイトである。 アイコンサイトは数多くあれど、ライセンス関係をいちいち確認しながら利用しなくてはいけない。 大抵の人が無料で自由に使えるアイコンを探しているだろうからこうしたサイトは便利だろう。 そろそろネットサービスでも作るか！という人は覗いてみるといいだろう。
ページランクの推移をトラッキングできる『PageRankAlert』 | 100SHIKI
最近なにかとページランクが話題なので便利なツールをご紹介。 ページランクがいきなり下がっていた！なんてことをいち早く知りたいならPageRankAlertがおすすめだ。 このサイトでは登録したサイトのページランクを定期的にチェックし、その推移を保存しておいてくれる。 もちろんその様子をRSSでトラッキングできたり、過去の履歴をダウンロードしたりすることもできる。 ページランクはあくまでも一つの目安ではあるが、その変化を見ておいてとるべきアクションを迅速に検討することは必要かと。そう考えるとこういうツールはいいですな。
ブラウザから手軽に使えるJavaScriptの統合開発環境『TIDE』 | 100SHIKI.COM
これはすごい・・・。 TIDEは「Tiny IDE（統合開発環境）」の略らしい。 そのシンプルな名前にたがわず、実に手軽にJavaScriptを書いて、テストすることができる。日本語もきちんと通るようだ。 しかもIDEだけあって、変数の中身をウォッチしたり、ステップごとに実行していくことが可能だ。 JavaScriptは慣れていないとどうにもとっつきにくかったりするが、こうした環境があればその動作を確認しながら学習していくことができるだろう。 まだベータ版ということで多少のバグがあるようだが、これからJavaScriptをやってみよう！と思われている方にはお勧めだ。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
手書き入力で中国語を検索できる辞書サイト『nciku』 | 100SHIKI
入力したテキストをすぐにMP3でダウンロード可能にする『vozMe』 | 100SHIKI.COM
