Scaling the Facebook data warehouse to 300 PBAt Facebook, we have unique storage scalability challenges when it comes to our data warehouse. Our warehouse stores upwards of 300 PB of Hive data, with an incoming daily rate of about 600 TB. In the last year, the warehouse has seen a 3x growth in the amount of data stored. Given this growth trajectory, storage efficiency is and will continue to be a focus for our warehouse infrastructure. There
次世代アーキテクチャについての考えをまとめておく。まずは、Hbaseの勉強会のお話。某界隈では割と話題になったので、細かいブログやサイトは結構、紹介されている。ので特に詳細は省く。一応tatsuyaさんのSlideshareはTokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and ...slideを見ているだけでは、よくわからないと思うがJonathanとの会話では、FBはバックエンドの部分を含めてバッチ処理は別のHadoopク
