Twitterが、Cassandraの本採用を断念。「いまは切り替えの時期ではない」
「いまは新しい技術への大規模な移行をする時期ではないと確信している」。Twitterは、サービスの核となるツイートを保存するデータベースを、MySQLによる大規模分散データベースから、NoSQLデータベースであるCassandraへ移行しようとしていました。しかしCassandraへの移行作業を中止し、引き続きMySQLでの運用を継続すると、Twitter Engineering Blogへのエントリ「Cassandra at Twitter Today」で明らかにしました。 これは戦略の変更だ Twitterは利用者からのツイートを、Scalaによって独自開発したミドルウェア「Gizzard」とMySQL、そしてmemcachedを用いた大規模分散データベースに保存しています。 しかしこうした複雑なシステムによる運用は非常に手間がかかり、人的コストを中心としたコストの増加が非常に大きくな
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」 先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催されていました。 その中で、TwitterのJohn Adams氏がTwitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）が行われています。Twitterのような大規模かつリアルタイムなWebサイトの運用とはどういうものなのでしょうか？ 公開されているセッションの内容を基に概要を記事で紹介しましょう。システム管理者の新たな役割、Railsの性能の評価、Bittorrentを使った
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか
Twitterを利用していると、ときどきクジラの絵の画面が表示されることがあります。これはTwitterの処理能力がパンクして一時的に利用不可になったときに表示されるお馴染みの画面。 2月9日にTwitter Engineeringブログにポストされたエントリ「The Anatomy of a Whale」（クジラの解剖学）では、Twitterのエンジニアたちがこのクジラの内部に分け入ってどのようにTwitterサーバの処理能力を向上させたのか、という話が詳しく語られています。 彼らが行ったのは、まず詳細なデータを取得して原因がどの辺にあるのかを推測すること。そこから多数の無駄な処理を発見し、ソースコードの修正による性能の向上に成功します。 元記事は非常に長いエントリになっていますが、問題の調査から解決に至るアプローチについて多くのエンジニアの方の参考になりそうな内容が含まれていますし、T
Designing a Scalable Twitter
Nati Shalom's Blog Thoughts on Cloud Computing, DevOps, Scalability, NoSQL, Big Data, PaaS Guy Nirpaz, Uri Cohen and Shay Banon came up with an interesting exercise as part of the recent partner training that took place at the GigaSpaces office. In this exercise, the students were asked to come up with a scalable design for Twitter, using Space-Based Architecture. There are some interesting scalab
Twitterって全然知られてない、ね - Unknown::Programming
今更感があるけどもTwitterってWeb関係の業界以外の人には殆ど知られてないんだなぁと実感した。 先日、専門学校時代の友達と8人ぐらいで飲みに行ったのだが、ブログの話になったのでTwitterとかも一応アカウントもってるよって話をしたら「Twitter？」みたいな空気になっちゃった。 mixiはみんな登録してるか知ってるかだったんだけど、Twitterは「ナニソレ」状態。 自分の中ではとても有名なものという認識があったのでちょっとびっくり。まーでも良く考えればそりゃそうか。知るわけねーよな、Twitterなんて・・・。 ちなみに彼らの職業は、ゲーム業界バリバリの人や写真撮影＆加工な人や（あとニートや）そんな人たちばかりでWebにはあまり関係なかったりする。 Twitterの説明するのが難しかった。 「Twitter一応やってるよ！」 「それなに？」 「え？知らないの今流行の一言ブログっ
電子メールは衰退するのか--取り巻く現状と生き残る道
人類の歴史はコミュニケーションの進化の歴史でもある。20世紀以降、郵便は基本的なコミュニケーションの形態であったが、電子メールの発明により、2つのことが変化した。メールの送信費用が安くなり、瞬時に配信されるようになったのである。電子メールは、企業、個人の両方からコミュニケーション手段として支持された。 しかし、現在、電子メールは競争の激化に直面している。チャット、テキストメッセージ、「Twitter」、ソーシャルネットワーク、さらにはライフストリーミングツールにより、電子メールの利用が減少している。ここでは、何が起こっているのかを確認し、電子メールが危機に瀕しているのかどうかを見極めようと思う。 Twitterの問題 Twitterは、パブリックなブロードキャスト通信のギャップから、生み出された。電子メールでTwitterを行うのは、不可能ではないとしてもスマートではない。Twitterが
Scaling Twitter: Making Twitter 10000 Percent Faster - High Scalability -
Update 6: Some interesting changes from Twitter's Evan Weaver: everything in RAM now, database is a backup; peaks at 300 tweets/second; every tweet followed by average 126 people; vector cache of tweet IDs; row cache; fragment cache; page cache; keep separate caches; GC makes Ruby optimization resistant so went with Scala; Thrift and HTTP are used internally; 100s internal requests for every exter
RailsConf2007: Scaling Twitter - Psychs's blog
3日目よかったのは、Twitter の中の人 Britt Selvitelle と Alex Payne による Scaling Twitter。 4月の話 からアップデートもあり、より突っ込んだ話が聞けた。 まずは、ハードウェア構成について。 Mongrel across 19 cores Message processing/delivery across 16 cores Jabber across 2 cores MySQL on one big 8 core box 16GB+ for memcache across a bunch of machines 32 cores total 意外にマシン数は多くない。 負荷の状況について。 200 - 300 connections per second Spiking at 800 connections per second We
Scaling Twitter - Railsconf 2007
This document summarizes how Twitter scaled its infrastructure to handle increasing traffic loads. It describes how Twitter distributed various components like message processing, delivery, and its MySQL database across multiple servers with a total of 32 CPU cores. Traffic was initially 200-300 connections per second but spiked up to 11,000 connections per second. MySQL queries increased to 2,400
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch Japanese アーカイブ » Identi.caの問題は「Twitterではない」こと
国内の「Twitter」利用者は52万人、男性が75％