S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
Amazon S3 path-style 廃止予定 – それから先の話 – | Amazon Web Services
Amazon Web Services ブログ Amazon S3 path-style 廃止予定 – それから先の話 – 先週(4/30)、私たちは非常に静かな（実際には静かすぎる）発表を行いました。S3 バケット内のオブジェクトのアドレスを指定するために使用される、パスベースのアクセスモデルについて、ゆっくりとそして慎重に廃止するという計画です。私はこのブログ記事を書くために、状況をよりよく理解すべく、S3チームと話し合うことに時間を費やしました。私が学んだことは以下です… S3 は、2006年の始めにサービスが開始されました。S3 における Jeff Bezosの考える元々の仕様は、非常に簡素なものでした。彼はインターネットにおける malloc （C言語プログラムにおけるキーメモリ割り当て関数）に相当するようなものを望んでいました。その出発点から、S3 は何兆ものオブジェクトを格納
Amazon S3 Update – SigV2 Deprecation Period Extended & Modified | Amazon Web Services
AWS News Blog Amazon S3 Update – SigV2 Deprecation Period Extended & Modified Every request that you make to the Amazon S3 API must be signed to ensure that it is authentic. In the early days of AWS we used a signing model that is known as Signature Version 2, or SigV2 for short. Back in 2012, we announced SigV4, a more flexible signing method, and made it the sole signing method for all regions l
【速報】全てのS3ユーザ必見！S3の性能が大幅パワーアップ！面倒なアレが不要に！ | DevelopersIO
AWS Summit 2018 New Yorkのキーノートセッションで発表された、S3の性能アップとはどのようなものなのか？ そして不要になった面倒なアレとは？ 皆さんこんばんは…。日本とほぼ半日時差のあるニューヨークでは、2018年7月15〜16日の日程で、AWS Summit 2018 New Yorkが開催されています。 ここで皆さんおなじみのAmazon S3に関する重大な発表が行われました！何が起きたのかを早速確認しましょう！ Amazon S3 Announces Increased Request Rate Performance | What's New with AWS 何が変わったのか？ 変更点を箇条書きでまとめます。 S3の書き込み/読み取りの性能が上がった PUT/POST/DELETE：3,500リクエスト/秒/プレフィックス GET：5,500リクエスト/秒/
Amazon S3 をバックアップストレージとして利用する
Amazon Simple Storage Service(A3)をバックアップストレージとして使うときのメモです。 ここでは自分のみがアクセスする目的と考え、ファイルを公開して配布する目的では必要となるであろうログの取得についてなどは省きます。 利点 単価がとにかく安い(1か月あたりの料金:転送量が$0.20/GB、データ領域が$0.15/GB) Amazonインフラなので信頼性がある 欠点 APIでの提供なので何らかのツールが必要となる そんなに速くない ちょこちょこ使うストレージとしてみると使いづらい ファイル操作は基本GET/PUT/DELETEしか用意されていない 移動・名前変更を行おうとするとGET→名前を変えてPUT→DELETEとなるのでムダがある(時間的にも金銭的にも) バケット(bucket) ストレージの領域の事。フォルダよりドライブに近い概念です。 自由に作成できま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
