mixi Engineers’ Blog » 新RSS Crawlerの裏側
このブログでは初めましての長野雅広(kazeburo)です。mixi開発部・運用グループでアプリケーションの運用を担当しています。 12月12日よりmixiのRSSのCrawlerが改善され、外部ブログの反映が今までと比べ格段にはやくなっているのに気付かれた方も多いかと思います。この改善されたRSS Crawlerの裏側について書きたいと思います 以前のCrawlerについて 以前のCrawlerは cronからbrokerと呼ばれるプログラムを起動 brokerはmember DBから全件、idをincrementしながら取得し、外部ブログが設定されていればcrawlerを起動(fork) crawlerはRSSを取得しDBに格納して終了 このような設計になっていました。 この設計の問題として、member DBを全件走査するという無駄な動作と、一件一件crawlerを起動するためオーバ
Google への登録方法 :: SEM R
ロボット型検索エンジン Google へのWebページ登録方法についての解説です。 本記事をご覧頂く前に、是非 "Webマスターのための Google情報 - Google にサイトを登録するには" もお読み下さい。"Webマスターのための Google情報" は Google 自身のWebサイトにて公開している情報です。本記事も随時こちらの内容を引用していきます。 では本題、Google への掲載方法です。一応 Google はWebサイト管理者からURL登録を受け付けています。 Google - サイトの登録 / 削除 http://www.google.co.jp/intl/ja/addurl.html と、用意されていますが申請をする必要もありません。Google のクローラーはリンクを辿りながら常にWebページ情報を収集しインデックスに納めているからです。クローラーは自動登録をし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google に URL を追加
