Twitterのアーキテクチャと遅延のしくみを考えてみる - 2009-03-04 - きしだのはてな

今日もTwitterは遅延してたんで、その遅延が起こるようなTwitterのアーキテクチャを考えてみるよ。Twitterの不具合から考えてみただけで、完全に想像であって、実際になにかの資料に基づいたりはしてないので、念のため。 まず、サーバー構成はこんな感じ。 Webサーバーとデータベースサーバーは当然として、投稿したときの処理を管理するためのメッセージキューとユーザートップページを保存しておくキャッシュがあると思う。 ちなみにこのメッセージキューは今までRubyで書かれていたものがScalaに書き直されたらしく、Twitter Kestrel Projectとしてソースが公開されてる。 Twitter message queues move to Scala | The Scala Programming Language で、データベース。 ユーザーテーブルとステータステーブルはもちろ

[tiadeen2]

「メッセージキューの処理として各フォロワーのタイムラインに追加する」のが「滞ってくると、遅延が発生する」という想像

[lizy]

このあたりはちと情報が古いか http://highscalability.com/scaling-twitter-making-twitter-10000-percent-faster

[studio-m]

「今日もTwitterは遅延してたんで、その遅延が起こるようなTwitterのアーキテクチャを考えてみるよ。」

[Ashizawa]

想像図

[hiro_y]

Twitterの遅延を考慮してアーキテクチャを想像してみてる。メッセージキューが各followerのタイムラインに追加される処理の遅延を想像。

[bobbyjam99]

きしださんが考えたTwitterのアーキテクチャ．ただしフィクションです．

[Nagise]

ブラックボックスなプログラムの中身を推測するのは難しい。バグなどが起こるとそこから中身が垣間見える。地震を観測して地球の内部構造を推測するような感じ。

[yojik]

ユーザ毎タイムラインってとんでもないレコード数になりそうな気がする|なるほど、それで40ページ限定なのかもね