高負荷データ処理の各社の事例 - ワザノバ | wazanova
http://highscalability.com/blog/2014/3/24/big-small-hot-or-cold-examples-of-robust-data-pipelines-from.html 1 comment | 1 point | by WazanovaNews ■ comment by Jshiike | 約1時間前 Hakka LabsのFounderのPete Soderlingが、「何でもBig Dataと称する風潮は行き過ぎだが、処理すべきデータが増えてきているのは確か。」として、データ処理プロセスでの各社の取り組みを紹介しています。 Stripe HDFSには、JSONやBSONなど多様なフォーマットのデータを送っている。Thriftとでロジカルな構造を定義し、Parquetでディスクに保存するフォーマットを決めている。複雑なバッチ処理のツールとし
Facebook: 25日間で11PB規模のLook Back機能をつくる - ワザノバ | wazanova
https://code.facebook.com/posts/1474977139392436/looking-back-on-look-back-videos?hn=1 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 FacebookのAlexey SpiridonovとKrish Bandaruが、10周年を記念して導入したLook Back機能（ビデオ）を25日間で準備した経緯を紹介しています。 最初に立てた仮説 10周年記念の当日に2500万本のビデオがシェアされる。 各ビデオを5人が見るとすると、平均で62 Gbpsの帯域が追加要。ピーク時に2-3xになることを考慮すると187 Gbps。 必要なディスクスペースは25 petabytes タスクを下記の内容にわけ、社内ボランティアの協力で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
