Pinterestはいかにスケーラビリティと格闘してきたのか（後編）。QCon Tokyo 2013

4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013」の続きです。 クラスタリングは怖い スケーラブルなシステムで問題なのは、データベースがひとつのサーバに収まらなくなったときにどうするのか、ということだ。 例えば、Cassandraは自動的にスケーリングしてくれて設定も簡単。可用性も高く単一障害点はない。しかし障害はそれでも起こるもので、クラスタリングの技術はまだ枯れておらず基本的に複雑なものだ。コミュニティもまだ十分ではない。 私たち

[sh2]

「私たちはCassandraで4回ほど、カタストロフィ（破滅的）な現象に遭遇したことがある」こわい

[ryotarai]

via Pocket

[anatoo]

>私たちはCassandraで4回ほど、カタストロフィ（破滅的）な現象に遭遇したことがある。データのリバランシングに失敗したことや、すべてのノードでデータが壊れてしまったこともある。

[tooooooooru]

DBのクラスタリングは枯れていないから怖い

[takezaki]

ReflexWorksに考え方が似ている。やっぱりシャーディングが一番の現実解。

[yyamano]

そんなわけで、私たちが学んだこと「Lesson Learnd #2」は、クラスタリングは怖い、ということ。技術として枯れていないので、変な壊れ方をする。

[moromoro]

シャーディングしらなんだ

[penpen-0704]

"Keep it fun."

[tilfin]

Cassandraがフリーザだって（違　まずお疲れ様でしたと言いたい。

[y-kawaz]

基本的にスケーラビリティ考えるうえでJOINしたら負けなんだよな…

[hnitta]

「MySQLはいろいろと使われているが、まだクラスタリングの準備は出来ていない」んですね。

[ktakeda47]

シャーディングの仕方

[tarchan]

＞64ビットのIDでシャードを指定

[griefworker]

Pinterestが採用したシャーディングのアルゴリズム。勉強になった。

[invent]

Pinterestはいかにスケーラビリティと格闘してきたのか（後編）。QCon Tokyo 2013 － Publickey

[oranie]

Cassandra、Membase、Redis、MongoDB・・・(；・ω・)

[farce-a-gogo]

なにいってんだかわかんねーが、準備万端備えあれば憂いなしでしたって状況じゃなかったことはわかる。ジタバタしながら模索した奇跡。

[tksmd]

pinterest

[ikeikeikeike]

チームが200人など大きくなるとコミュニケーションが難しくなり、楽しくなくなってくるので、カルチャーとして楽しい雰囲気にするのは大事だと思う。

[hatohato25]

シャーディングのお話。

[Nyoho]

綺麗なフォントだなー色合いもいいし♪(←内容を読め)

[y-teraoka]

『私たちはCassandraで4回ほど、カタストロフィ（破滅的）な現象に遭遇したことがある』なにそれ、こわい

[sifue]

shard_id+type+local_idで64bitか、instagramのtimestamp+shard_id+10bitのlocal_idのmodと結構考え方は似てるなぁ。

[airj12]

クラスタリングよりシャーディング、ふむ

[kamipo]

Clustering is scary.

[akuwano]

MySQLのシャーディングの話。この運用は倍々ゲームになるし、大規模に物理ではやりたくない気もするけどクラウドだったり、運用がしっかりまとまってればOKなのかなー。

[Donca]

✔ Pinterestはいかにスケーラビリティと格闘してきたのか（後編）。QCon Tokyo 2013

[wtatsuru]

でかいDBほんと大変