Dropboxが構築したMagic Pocketの中身：エクサバイトのストレージシステムの仕組み | POSTD

自社で構築した数エクサバイトのストレージシステム、 Magic Pocketを発表 して以来、多くの好意的なフィードバックをいただいています。この発表に続きまして、舞台裏からシステムの興味深い側面を見ていただくことができる技術ブログシリーズを投稿していこうと思います。保護の仕組み、運用ツール、ハードウェアとソフトウェアの境界線上の革新などです。しかし、まず、背景を説明する必要があるでしょう。本稿では、Magic Pocketのアーキテクチャ概略と設計で使われた基準についてお話しします。 紹介の投稿 で説明しましたように、Dropboxには、ファイルの内容と、ファイルやユーザについてのメタデータという2種類のデータが保存されます。Magic Pocketは、ファイルの内容を保存するのに使われるシステムです。保存するファイルは、ブロックに分割されて耐久性のためにレプリケーションされ、複数の地域

[hfmgarden]

“Magic Pocketは、初期の2桁ペタバイトの試作品から数エクサバイトの巨大なものへ、半年程度の間に進化しなければなりませんでした。”

[kfujieda]

本題関係ないけど、ありえないほど確率の低い出来事を「世界が滅亡するような小惑星衝撃」のようにたとえたら、バカにしてるのかと怒られたことがある。

[mkusunok]

がっつり手組みされた分散クラウドストレージ、やればできちゃうのかぁ

[tkmoteki]

ふむ。Dropboxが構築したMagic Pocketの中身エクサバイトのストレージシステムの仕組み | インフラ・ミ&#1248 via @nuzzel

[yagitoshiro]

小さな問題（デスクトップ用クライアントとか）とコレみたいな大きな問題をどちらもうまくこなすとはすごいなあ：

[key_amb]

気になる。後でしっかり読みたい。

[progrhyme]

気になる。後でしっかり読みたい。

[manFromTomorrow]

ブロックのインデックスにKVSじゃなくてシャードされたMySQLを選んだのは興味深いな。この辺もうすこし詳しく聞いてみたい。

[niship_0822]

あとで

[tito1201]

めっちゃ面白い

[sonots]

あとで

[civitaspo]

MySQL がインデックス管理してるのか

[indication]

再配置で、特定のディスクやネットワークが高負荷にならない…？？？なんてシステムだ