Facebookに日々20億枚シェアされている画像はこのように保管されている - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
上：Facebookのコールドストレージのドライブトレイ Image Credit: Facebook あまり見ることのないとても古い写真をきちんとしまっておき、ユーザが見たいと思ったときにすぐに呼び出して見られるように、Facebookがいろいろと力を尽くしている。オレゴンとノースカロライナにあるFacebookのデータセンターには2つのコールドストレージが整備されていて、Facebookのインフラチームがそこでアイデアを実行してきた。Facebookは本日、そのアイデアの多数を発表している。 Facebookでは毎日20億枚の写真がシェアされており、Facebookは効率的にこれらを保管する必要がある。そしてその規模に対処できるようハードとソフトの両面で改良を実施した。 コールドストレージの建物内にある個々の大きな部屋、またはデータホールでは現在1エクサバイト、すなわち1000ペタバイ
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
