S3のZipファイルをRangeでバイナリアクセスして料金を節約 - HDE BLOG

あけおめころよろメリクリ!! 尾藤 a.k.a. BTOです。 今年も残すところ、あと357日となりましたが、みなさんいかがおすごしでしょうか。 今年の目標は、純白のメルセデス、プール付きのマンション、最高の女とベッドでドン・ペリニヨンの3つです。 さて、今回はS3上に置いたZipファイルをHTTPのRangeパラメータでバイナリアクセスして、料金を節約した話を書きます。 検索インデックスのデータ量が増大 メールアーカイバでは、検索インデックスを mongodb に格納していますが、データ量が増えるにしたがって性能的な問題が出てきました。なにしろ月間1億6000万通のメールを処理するので、検索インデックスのデータ量も大変なことになります。 amazon EBS 1TB制限 当時のEBSでは、最大で1TBのボリュームしか作れませんでした。 検索インデックスのデータ量の増え方は不規則なので、ど

[terurou]

これおもしろいよなぁ

[kasumani]

S3のZipファイルをRangeでバイナリアクセスして料金を節約 今年も残すところ、あと357日となりましたが、みなさんいかがおすごしでしょうか。 今年の目標は、純白のメルセデス、プール付きのマンション、最高の女とベッド

[yass]

" 最初は適当に当りをつけてアクセスします。 インデックスの先頭には、かならず central file header signature(0x02014b50) という4バイトのデータが入ります。 これを目印にインデックスがどこから始まるかが分かります "

[hinashiki]

頭おかしい（賛美

[polyamid]

おおおおお？おおーー！

[razokulover]

これは良い知見！

[clavier]

S3のZipファイルをRangeでバイナリアクセスして料金を節約 - HDE BLOG

[koyancya]

こうかはばつぐんだ！

[vaikingou]

S3のZipファイルをRangeでバイナリアクセスして料金を節約 - HDE BLOG: 2015-01-09 S3のZipファイルをRangeでバイナリアクセスして料金を節約 あけおめころよろメリクリ!! 尾藤 a.k...

[C_L]

ウホッおもしれー

[Qurage]

S3 と zip バイナリアクセス活用の例

[asonas]

ウケる

[honeybe]

頭おかしい(褒

[graceful_life]

すげーｗ

[T-miura]

やばい！！