msyktのブックマーク / 2014年1月17日

msykt id:msykt

2014年1月17日のブックマーク (2件)

GitHub - Netflix/s3mper: s3mper - Consistent Listing for S3
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
msykt 2014/01/17
“S3mper is a library that provides an additional layer of consistency checking on top of Amazon's S3 index through use of a consistent, secondary index.”

s3
リンク
Netflix: s3mperを利用してクラウドでのデータ整合性をとる - ワザノバ | wazanova
http://tech blog.netflix.com/2014/01/s3mper-consistency-in-cloud.html1 comment | 0 pointsNetflixのDaniel Weeksが同社のエンジニアブログで、クラウドでデータ整合性をとるためのライブラリs3mperをオープンソースとして提供したことを報告しています。前回のポスト "Hadoop Platform as a Service in the Cloud"では、NetflixのHadoopプラットフォームがどのようにAWSのS3を活用しているかを紹介した。NetflixはS3を全てのデータウェアハウスのSOT (Source of Truth) と見なしている。このサービスには、99.999999999%のデータ永続性、99.99%の稼働率、効率よく容量制限のないストレージ、バージョニング（デー
msykt 2014/01/17
“aspectsを利用してs3mperを実装し、Hadoopのファイルシステムのインターフェースのメソッドを利用し、DynamoDBを二次的なインデックスとして使い、ファイルのメタデータをトラックします。”

s3
リンク
- 2014年1月20日
- 2014年1月17日
- 2014年1月16日