なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
Kazuho@Cybozu Labs: フレンド・タイムライン処理の原理と実践
« MySQL のクエリ最適化における、もうひとつの検証方法 | メイン | MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 » 2008年06月09日 フレンド・タイムライン処理の原理と実践 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話に続きます。 Twitter が注目されるようになって久しい今日この頃ですが、友人の投稿を時系列に並べて表示する、というのは、Twitter に限らず Mixi の「マイミクシィ最新日記」やはてなブックマークの「お気に入り」等、ソーシャルなウェブサービスにおいては一般的な手法です。ですが、この処理 (以下「フレンド・タイムライン」と呼ぶ) は、一見簡単そうに見えて、実装には様々な困難が伴います。本記事では、「フレンド・タイムライン」を実現する、プッシュ型とプル型の二種類の手法について、その原
jstudy #1 を開催しました - Webtech Walker
perlとかHTML/CSSとかの勉強会はよくでてるけどjavascriptの勉強会ってあんまないなーと思ったので開催してみました。本当はもっとゆるい感じでわいわい話しながら適当にプレゼンするみたいのをイメージしてたんですけど、予想より遙かにプレゼン希望者が多く（ありがたい限りです）内容も濃い勉強会になりました。 twitterも割と盛り上がったのでtogetterにまとめました。 Togetter - まとめ「jstudy #1」 まとめはtogetterで十分なので以下、個人的なメモです。 Introducing jQuery @Takazudo JQueryの入門講座を話していただきました。すでにホッテントリはいってました。さすがです。とりあえずjQuery入門してみたい方はこのスライド見るといいと思います。 Introducing jQuery まとめると、jQuery使えばかめは
＠IT Special ネクストSOAのITパラダイム リアルタイムなイベント駆動型ビジネスを実現する「イベントストリーム処理」
ストックのデータからフローのイベントへ――ビジネスのリアルタイム化にともなって、新しいIT活用モデルが徐々に浸透し始めてきた。「Progress Apama」が実現する“イベントストリーム処理（Event Stream Processing：ESP）”が、この変化をリードしている。 業務プロセスの中で発生する「イベント」によって駆動するシステムアーキテクチャを「EDA（Event Driven Architecture＝イベント駆動型アーキテクチャ）」と呼ぶ。このEDAを実現するテクノロジとして期待されているのが、イベントストリーム処理だ。これとほぼ同義のものとして、「CEP（Complex Event Processing＝複合イベント処理）」がある。これは、米ガートナーがEDAとともに提唱し始めた次世代のコンピューティングモデルである。 ここに、はるか以前からイベント処理に注目していた
Parsing and serializing XML - Developer guides | MDN
At times, you may need to parse XML content and convert it into a DOM tree, or, conversely, serialize an existing DOM tree into XML. In this article, we'll look at the objects provided by the web platform to make the common tasks of serializing and parsing XML easy. XMLSerializer Serializes DOM trees, converting them into strings containing XML. DOMParser Constructs a DOM tree by parsing a string
進化するMessagePackプロジェクト - Webサイトリニューアル - Blog by Sadayuki Furuhashi
MessagePack Project のWebサイトをリニューアルしました！ 新しいURLは、http://msgpack.org/ です。 シンプルなイメージから若干趣を変え、完成度が高くてリッチな印象を重視しました ;-) 文章ではシリアライズの速度に加えて、RPCの意欲的な設計を強調しています。 なお、Twitterのハッシュタグは #msgpack です。ぜひツイートしてください^^; 実は先日、MessagePackプロジェクトについて StumbleUpon の研究開発チームの方々にプレゼンテーションしてきました。（参考：FacebookとStumbleUponの方がTwitterよりトラフィックを生んでいる） 写真を一枚^^; さらに、LuceneやHadoop開発者であり、Avroの開発者でもある Doug Cutting 氏（Wikipedia!）ともディスカッションす
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
