なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
suicaは実はたまに落ちている - 紅茶屋くいっぱのあれこれ日記
suicaのサーバーはみんなの知らないところで、実はたまに落ちているそうだ。 だがシステムが止まることはない、計算上センターは3日ぐらいは止まっていても大丈夫だそうだ。 だからサーバーが落ちたなどとニュース沙汰になることは殆ど無い。 suica開発陣頭指揮をされていたかたが、その実績をまとめてと頼まれ、博士論文にしたそうだ。 suicaの実例を述べるだけだと技術論文になってしまうので、一般化して論文を書きあげたそうなのだが、審査に携わった専門家の人達はそんなものが動くわけないだろうといったらしい。しかし現実問題としてsuicaは動いてしまっている。 本人いわく、だってそれで動いちゃってるんだもん。だそうだ。 実装は時として奇妙に見えるかもしれない。 フィールドには神がいる。 …その意や、なんで落ちても大丈夫かなどはまた後ほど。 スイカのセミナー 昨日はスイカのセミナーだった。 JR東でスイ
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
不倒城: SI業界からネットゲーム業界に移った知人に色々話を聞いてきた。
ちょっと技術的な話になる。 私の知人に、かつてはアルファベット三文字の某有名SI会社に在籍していて、今はどういう訳か某ネットゲームの会社に勤めている変り種がいる。 彼はネットワークとDBの専門家である。ゲーム業界には元来DB周りに詳しい人があまり多くなかったらしく、しかしネットゲームの開発にはDBやネットワークのアーキテクチャに関する知識が必須で、要は引き抜かれたらしいのだが、当人それ程ゲーム好きでもないのに面白いルートに行くなーと思っていた。 機会があったら金融業界とネットゲーム業界のシステム周りの違いについて聞いてみたいなーと思ってたんだが、この前久々に会ったら色んな話が聞けた。特定されない程度においおい書いてみよう。ぼかして書く為、ところどころいー加減だが勘弁して頂きたい。 今日はサーバとかデータのやり取りとか、技術的な話。 まず、前提。オンラインシステムの肝の一つに、「誰がデータを
「感情の共有」，「負荷との戦い」---ニコニコ動画の技術：ITpro
インターネット・サービスの激戦区である動画配信で後発ながらYouTubeを上回る成長速度，YouTubeの3倍以上となる1日ひとり3時間以上という平均視聴時間を実現したニコニコ動画。開設後1年足らずで400万人の会員を獲得，日本全体のトラフィックの約10分の1を占める。その成長速度はmixiも上回り，日本史上最速と見られる。 ニコニコ動画は多くのメディアで語られ，2007年10月にはグッドデザイン賞も獲得したが，これまでは社会現象やマーケティングの観点から語られることが多かった。しかしニコニコ動画を作り上げ，その急拡大を支えたのはまぎれもなくエンジニアの技術だ。多くのクリエイタやユーザーを魅了し，巨大なアクセスをさばく技術はどのようなものなのか。ドワンゴのエンジニアに聞いた。 「感情」を共有するアルゴリズム 動画の上に文字をかぶせるサービスはニコニコ動画以前にも存在した。また，動画のタイミ
グリッド化の決断を下すとき | OSDN Magazine
新たなアプリケーションの設計と実装では、十分なリソースの捻出と冗長性の確保に悪戦苦闘を強いられるおそれがある。だが、グリッドアーキテクチャを採用してアプリケーションを構築すれば、低いコストで冗長性と並列処理を実現でき、リソース配分が容易になる。 グリッドアーキテクチャを用いる理由 新規アプリケーションの設計時には、多くの理由から基本プラットフォームでのグリッドアーキテクチャの採用を検討すべきである。グリッドコンピューティングのフレームワークであるグリッドアーキテクチャは、データを処理する独特のプラットフォームを提供し、従来に代わるコスト効率に優れたアーキテクチャになり得る。シングルサーバアーキテクチャに比べると、グリッドアーキテクチャには並列処理、リソースの負荷分散、未使用リソースの活用といった多くの利点がある。従来のサーバ環境におけるアプリケーションの発展は、サーバのハードウェアの限界に
livedoor Techブログ : nowaのサーバ構成
こんにちはスエヒロです。 今回は弊社が提供しているブログサービス「nowa」(ノワ http://nowa.jp)の仕組みをサーバ構成を中心に紹介したいと思います。 nowaでは一般的なブログサービス要素とSNS要素の機能を実装しています。弊社には先行して提供している「livedoor Blog」、「フレパ」といった大規模なサービスがありますので、そちらの開発・運用で問題になった点などを参考にしつつ開発を進めています。具体的にはアクセスによる負荷への対策、データベースの分散化、画像のストレージング、冗長性、スケーラビリティといった点になります。 - ポータル(nowa.jp)、CMS(cms.nowa.jp) のサーバ構成 ポータルページ(nowa.jp)とCMSページ(cms.nowa.jp)は、静的なファイルのリクエストを捌く+動的なコンテンツへのリクエストをプロキシするフロントサーバ
ヽ( ・∀・)ノくまくまー(2007-05-27) [Rails] Comet 勉強会 #1
● [Rails] Comet 勉強会 #1 勉強会の日の朝はいつもサボリの誘惑がある。もう少し寝ていたかったり、外に出るのが面倒な気分になったり、他の事をやりたくなったり、急に敷居を高く感じたり、雨が降ったり。でも、勇気を出して行くと、神様はいつもいい経験を与えてくれる。今回もニコニコ動画の中の人とか凄い人達が一杯いた。そういう人達と話をする機会、彼らの思考過程を直接見れる機会があるのは凄く貴重だ。 Don't be afraid 意義ある貴重な時間。Don't be afraid Don't be Erlang！ ということで Erlang に関する勉強会。リl|*´∀｀l|＜でも誰も Erlang について勉強してきてないんだよ。だからブレスト形式になっちゃったー。しかし、そこがいい！ドキュメントもコードもなしに、みんながそれぞれ持つ少ない情報から技術的知識と論理的思考によってErl
ウノウラボ Unoh Labs: Web APIとしてのWebDAV
komagataです。 社内の勉強会でWebDAVについて発表したので資料を公開します。 （この資料は少し言い過ぎなので２割増しで聞いといて下さい） [<< Prev Next >>] WebDAV.pdf(741KB)
最速配信研究会 - Web2.0とC10Kに関する数々の誤解
Web2.0 = Ajax/Cometなの？とかプロセスIDは今でも16ビットなの？とかはサテオキ、 個々のクライアントがサーバに要求する処理量は小さなものでハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする――。これが最近Web開発者の間で話題となっている「C10K問題」（クライアント1万台問題）だ。 AjaxやCometなどのクライアント側技術に伴うサーバ側の問題に関していろいろ誤解があるようなので,書いておきたい.きっとlingrの中の人はこの記事読んでニヤニヤしてるはず. 以下、記事にないことも書いてあるのでそのつもりで. 誤解その1 AjaxによるWebアプリの台頭でサーバ側の負荷が増大する Ajaxの典型的な使い方はサーバに問い合わせてページの一部分だけを 変化させるというモノだ.これはページ全体を書き換える従来の方法と違い, すでに
Hatena::Diary::take-m - livedoor テクノロジーセミナー
昨日、livedoor テクノロジーセミナーに参加してきたので、そのメモと感想を。 アジェンダ セッション1: 「はてなの開発/運用体制について」 / はてな 伊藤直也氏 セッション2: 「livedoor Readerについて」 / ライブドア ma.la氏 セッション3: ディスカッション / はてな 伊藤直也氏、ライブドア 池邉氏 セッション4: 質疑応答 メモ 自分の意見は文字色を変えてます。 セッション1: 「はてなの開発/運用体制について」 / はてな 伊藤直也氏 id:naoya:20061214:1166063145 に発表資料。 はてブのサーバー構成について 特性に合わせて3つのセグメントに分けているのが、非常に特徴的だと思った。 通常リクエスト用 bot用 → リクエストが非常に多いがレスポンス速度はそんなに重要じゃない イメージやカウンタなど → Webサーバーに負荷
最速インターフェース研究会 :: ライブドアのテクノロジーセミナーでしゃべってきました
昨晩はライブドアで開催されたテクノロジーセミナーで「Technologies for UI」という題でプレゼンをやりました。 発表資料はpdfかhtmlで公開する予定ですが、とりあえずテキストだけ先にアップしておきます。 http://ma.la/files/livedoor/seminar2006/seminar.txt プレゼンツールがFirefox専用だったりするので、これも少し手直しして公開予定です。 こういう機会があるたびにプレゼンツールを作ってるような気がします。 ---- 追記:12/15 ライブドアのtechblogの方に発表資料をアップしました。 http://blog.livedoor.jp/techblog/paper/ldtech2006/ 上下カーソルキーでページをめくれます。
Part5 SOAP，WSDL，REST――Web APIの基礎技術を学ぶ：ITpro
Web API（WebサービスAPI）をプログラミングで活用するにあたって，ぜひ知っておきたい基礎技術が三つあります。古典的な技術の代表としてSOAPとWSDL，そして昨今急速に普及してきたRESTです。ごく単純に言ってしまうと，前者は「高機能で複雑」，後者は「シンプルで簡単に利用可能」と区別できるでしょう。現時点では，そのシンプルさが多くの開発者に受け入れられたおかげか，REST方式が（先達である）SOAP方式を圧倒しているように見えます＊1。 もっとも，だからといってRESTがSOAPよりも優れていると結論付けるのは早計でしょう。昨今では，SOA（Service Oriented Architecture）という言葉に代表されるように，大規模なシステムを「サービス」という単位で構成し，互いに連携し合う設計手法が注目されています。特に，SOAを実現する具体的な基盤技術として注目されている
ITmedia +D PC USER：第2回 Coreマイクロアーキテクチャ [前編] (1/4)
最初のPentiumが登場したのは1993年。Pentiumの名を冠したCPUは、それから12年間進化を続けましたが、2005年発表のPentium Dがシリーズの最後のCPUとなり、2006年にはPC向けプロセッサの主力はCoreシリーズにバトンタッチすることになりました。これまでのPentium 4とは大きく異なるアーキテクチャを採用することで、高性能と低消費電力を両立させたのがCoreシリーズです。2回連続で、Coreシリーズのアーキテクチャの秘密に迫ります。 Pentium 4やPentium Dは、NetBurst（ネットバースト）と呼ばれるマイクロアーキテクチャを採用してきました。最大3.8GHzという動作周波数を実現し、PC用のハイエンドCPUとして数多くのパソコンに採用されてきました。しかし、NetBurstには、電力効率が悪いという大きな弱点があったのです。Pentium
![ITmedia +D PC USER：第2回 Coreマイクロアーキテクチャ [前編] (1/4)](https://cdn-ak-scissors.b.st-hatena.com/image/square/40a7632f0bf50b00c1714d09b698cbf725aeffd3/height=288;version=1;width=512/https%3A%2F%2Fimage.itmedia.co.jp%2Fpcuser%2Farticles%2F0611%2F01%2Fl_ht_0610kai01.jpg)
ITmedia エンタープライズ：Web 2.0とSOAの遠いようで近い関係 (1/4)
エンタープライズコンピューティングらしいコンセプトであるSOAと、どちらかというとコンシューマー向けの技術や世界観の中で話題にされることの多いWeb 2.0の間には、将来を見据えると少なからぬ関連性がある。 いま最も流行しているキーワードといえばWeb2.0だ。ITの世界を超えて、一般にまで浸透してきている印象もある。ビジネス誌などではWeb2.0にとどまらず、「xxx 2.0」という形式の新たな言葉まで生み出している。既存の世界を「1.0」とし、それぞれの次世代の展望を「2.0」として解説しているのである。 わたしは、Web 2.0は「Web 2006」ととらえた方がいいとも考えている。つまり、この言葉は「いま」のWebの技術や世界観を表すものであって、明確な定義があるわけではない。Webが革新、進化を続けている状況の「いま」を表す言葉だ。 エンタープライズITの世界をみてみると、Saa
世界で最も高い建物ベスト10を並べて比較してみる
古来よりバベルの塔よろしくやたらと高い建物を造るのが人間は好きですが、そんな高層建築物ベスト10を並べてみるとどうなるのか？という比較サイトがありました。 また、現在建築中、あるいは建造予定の建物との比較図もあります。はっきり言っておかしいレベルです。 World's 10 Tallest Buildings - SkyscraperPage.com 上記が現在のベスト10です。それぞれの詳細は以下の通り。数え方で多少異論があるようですが、そのあたりは目をつぶる方向で。 World's Tallest Towers 実際の写真はこんな感じ。 Architecture Portal News: Top 10 Tallest Buildings in the World 問題はこの後、つまり将来的にはどうなるのか、現在建築中の高層建築物を含め、並べて比較。 Diagrams - Skyscra
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://cgi36.plala.or.jp/tera5/v/security/webap_sec2/chap01.html
Technologies for UI
naoyaのはてなダイアリー - ライブドアのテクノロジーセミナーでしゃべってきました。
i432, i860... - Old Boy : Weblog