mixi Engineers’ Blog » 新RSS Crawlerの裏側
このブログでは初めましての長野雅広(kazeburo)です。mixi開発部・運用グループでアプリケーションの運用を担当しています。 12月12日よりmixiのRSSのCrawlerが改善され、外部ブログの反映が今までと比べ格段にはやくなっているのに気付かれた方も多いかと思います。この改善されたRSS Crawlerの裏側について書きたいと思います 以前のCrawlerについて 以前のCrawlerは cronからbrokerと呼ばれるプログラムを起動 brokerはmember DBから全件、idをincrementしながら取得し、外部ブログが設定されていればcrawlerを起動(fork) crawlerはRSSを取得しDBに格納して終了 このような設計になっていました。 この設計の問題として、member DBを全件走査するという無駄な動作と、一件一件crawlerを起動するためオーバ
mixi notifyにはAtomが使われている - F.Ko-Jiの「一秒後は未来」
mixi stationに新着情報通知機能がついたらしいので、APIでも使って情報取得しているのかなと調べてみたら、どうもAtomを使っているっぽい。 ログインしているブラウザからなら、以下のURLでAtomフィードを取得できた。 http://mixi.jp/atom/notify/r=2/member_id=*** こいつをFirefoxのライブブックマークにでも追加してティッカー表示させる拡張機能とか使えば通知受けられるだろうか。 (↓のようにできた。赤文字のお知らせを通知してくれるようだ。) (追記) ZeroMemoryの「mixiのあしあとAPI発掘」に、mixiのAtomについてかなり詳細な解説があります。“track”は足あとだったんですねぇ。パラメータつけてなかったので気づきませんでした。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
