Twitter、「MySQL」独自コードの一部をオープンソース化
Twitterは、「MySQL」に施した多くの修正の一部をオープンソース化した。MySQLは、ユーザーによって生成されるデータの大半を保存するためにTwitterが使用しているデータベーステクノロジだ。 Twitterの開発者であるJeremy Cole氏とDavi Arnaut氏はTwitterのエンジニアリングブログの中で、「MySQLは、関心のグラフやタイムライン、ユーザーデータ、ツイート自体といったほとんどのTwitterデータを裏で支える永続ストレージテクノロジだ。われわれは知識共有の価値を信じており、オープンソースソフトウェアは革新を促進すると考えているので、『BSD New』ライセンスの下、MySQLに関するわれわれの成果を『GitHub』でオープンソース化することに決めた」と述べた。 Twitterのチームが公開したコードは、より多くのステータス変数の追加や、大規模なNUM
Introducing FlockDB(2) - aaa.txt
Introducing FlockDBの続きを訳しながらメモ。 前半→Introducing FlockDB (1) 「教訓」で述べられていることは参考になる。特に正常系とエラー系で同じパスを通るようにする、というのは応用出来そうなアイデア。 (続き) 書き込み処理はシステムに入力された時刻に対して冪等で可換である。 我々は操作の実行の順序によらず同じ結果を得ることができる。 故に我々は一時的なネットワークやハードウェアの故障を隠すことができ、 時間がったったあとに再実行することができる。特にこれは初期の展開に 効果的である。 可換な書き込みは新しいパーティションを育成するプロセスを単純化する。 新しいパーティションは書き込みトラフィックを即座に受け入れることができ、 同時に古いパーティションからのデータのダンプをゆっくりと背後で 受け取ることができる。ダンプが一度終わると。パーティション
Introducing FlockDB (1) - aaa.txt
またTwitter engineering Blogで興味のある記事があったので、適当に訳しながらメモ。 Introducing FlockDB Twitterは人間関係のグラフをたくさん持っている。 例えば、あなたがFollowしている人全員とか、 あなたをfollowしている人全員とか。 あなたが誰からのphone notificationを受けているとか。 こういうグラフのいくつかの特徴は我々が成長する ごとに、スケーラブルに保管するすることが難しい課題に なってきた。たとえば、お互いのfriendship構築にリクエストと 確認を必要とするのではなく、あなたは他の誰かをfollowする 単に１方向の関係のみ構築する。またそこにはあなたを何人が followする人数の制限がない、そのため（@apluskのような) あるひとは100万人にfollowされたりするが、多くはほんの数人であ
Twitter to open source MySQL-to-Hadoop tool
Hadoop Summit Twitter intends to open source an additional piece of the Hadoop-happy infrastructure it uses for internal data analysis. Known as Crane, this is a tool for moving data from MySQL into Hadoop, the open source data-crunching platform based on Google's proprietary infrastructure. Twitter uses Hadoop for ad hoc analysis of data collected from its famous microblogging service, but the pl
MySQLerのTwitterアカウントまとめ。
松信氏の、 MyISAMとInnoDBのどちらを使うべきか Twitterで話題になってたので簡単にまとめました。 というエントリが人気を博しているが、松信氏が言うように最近はTwitterでMySQL関連の話題も結構増えてきているように思う。Twitterの流行の勢いは凄まじく、今は右を向いても左を向いてもTwitter、寝ても覚めてもTwitter、猫も杓子もTwitterという雰囲気である。従ってMySQLもTwitterで盛り上がるのは当然の成り行きというもであるし、Twitterを活用しない手はない。 しかしMySQL関連の話で盛り上がると言っても「じゃあ誰をフォローすれば話に入れるんだよ？！」と多くの皆さんは疑問に思われることだろう。そこで、今日はMySQL関連のTwitterアカウントを独断と偏見と愛と勇気と努力をもって紹介する。MySQLの情報が欲しい人、もしくは話題の輪に
Twitterのトラブルから見る、DB分割でスケーラブルなRailsサイト構築:TKMR.blog.show
最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、Twitterは11,000リクエスト/秒 の高負荷で問題となっているらしい。 そしてスケーラビリティの鍵はDB分割だ、と言っている。Railsは基本一つのDBを見るのでスケーラビリティの問題になる （確かにWebサーバはロードバランサがあればいくらでもスケールするしね、Sessionの共有だけ気を付ければ） ↓ Dr Nic » Magic Multi-Connections: A “facility in Rails to talk to more than o
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterにおける大規模システム構築、3つの原則