1日最大20億ページのクローリングを安価に実現！『80legs』 | 100SHIKI
1日最大20億ページのクローリングを安価に実現！『80legs』 September 28th, 2009 Posted in 便利ツール（ウェブ） Write comment サービスの開発上、大量のウェブページのクローリングが必要な場合もある（お行儀良くやりましょうね）。 通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。 そこで「クローリングならうちに任せて！」と声を上げたのが80legsだ。 なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。 クローリングという実にニッチなサービスではあるが、必
「絵文字に優しい」モバイル検索エンジンを目指して | Baidu Japan Blog
はじめまして、こんにちは。プロダクト事業部ＲＤの萩原です。ランキング・エンジニアとして、先日リリースされたモバイル検索サービスのコア・エンジンの開発に携わっています。 私たちは、モバイル・ユーザーの皆様に「User Friendly」なサービスを提供すべく、日本のモバイル事情について真剣に考え、サービス開発に取り組んできました。その中でも特に、日本のモバイル環境を語る上で切り離せない重要な要素に「絵文字」があります。今回の記事では、モバイル検索における絵文字への取り組みについて紹介します。 モバイルWebにおける「絵文字文化」 これまでのモバイル向け検索エンジンでは、絵文字というものをきちんと取り扱っておらず、インデックスから取り除いている場合が多いと見受けられます。しかし、私たちが普段携帯端末を使う際には、メールや個人ブログを書く時など、実に多くの場面で絵文字を使用していることが分かりま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
