S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
Amazon S3 path-style 廃止予定 – それから先の話 – | Amazon Web Services
Amazon Web Services ブログ Amazon S3 path-style 廃止予定 – それから先の話 – 先週(4/30)、私たちは非常に静かな（実際には静かすぎる）発表を行いました。S3 バケット内のオブジェクトのアドレスを指定するために使用される、パスベースのアクセスモデルについて、ゆっくりとそして慎重に廃止するという計画です。私はこのブログ記事を書くために、状況をよりよく理解すべく、S3チームと話し合うことに時間を費やしました。私が学んだことは以下です… S3 は、2006年の始めにサービスが開始されました。S3 における Jeff Bezosの考える元々の仕様は、非常に簡素なものでした。彼はインターネットにおける malloc （C言語プログラムにおけるキーメモリ割り当て関数）に相当するようなものを望んでいました。その出発点から、S3 は何兆ものオブジェクトを格納
【注意喚起】 2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなります。 | DevelopersIO
2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなる、との発表がありましたのでシェアします。 Announcement: Amazon S3 will no longer support path-style API requests starting September 30th, 2020 2021.01.27 追記 2020年9月23日に以下の追加アナウンスがありました。 ・ユーザーが仮想ホスト形式への移行に必要な時間を確保するための措置として、パス形式の非推奨化は少なくとも 1 年間延期されました。執筆時点において新規バケットについてもパス形式のリクエストは可能ですが、あくまで延期であるため新規に作成されるものについては、仮想ホスト形式を前提にしたほうが良い点は変わらないと思います。 ・また、互換性の理由から仮想ホスト形式においてもドットが含まれる
AWS CLIがS3とのトラフィックを帯域制御できるようになりました | DevelopersIO
AWS CLI単体でS3とのトラフィックを帯域制御出来るようになったため、早速使ってみました。 3行まとめ クライアント OS に依存せず AWS CLI 単体で帯域制御可能 インバウンド・アウトバウンドで同じ値を適用 設定コマンド $ aws configure set default.s3.max_bandwidth 50MB/s やってみた 環境 EC2(m4.xlarge)のAmazon Linux AWS CLI:1.14.8 S3転送に利用するオブジェクトの作成 1 GB のオブジェクトを作成します。 $ fallocate -l 1G test.dat AWS CLIの初期設定値 帯域制御用に追加された s3.max_bandwidth を除き、AWS CLI の設定値はデフォルトのままとします。 特に、s3.multipart_threshold は 8MB のため、今回試
S3バケットへのアクセスを特定のIPとVPCに制限する | DevelopersIO
はじめに オンプレミスにあるデータをAWS上で分析する場合、いったんオンプレからS3にデータをアップロードし、そのデータをAWS上のEC2等で参照/分析するのはよくあるパターンです。 その際、オンプレミスのサーバにはS3の操作権限をもったIAMユーザのアクセスキーを設置することになりますが、万が一アクセスキーが漏えいすると第三者に重要な情報を盗まれたり改変されたりする恐れがあります。 そのような事態を避けるために、S3バケットには必要なリソース以外からのアクセスを遮断するような制限をかけることをお勧めします。 具体的には下記からのアクセス以外は遮断した方が安全です。 オンプレミスのサーバのIPアドレス 分析環境が構築されているAWS VPC S3バケットの管理を行う拠点(AWSマネジメントコンソールを利用する場所)のIPアドレス S3バケットへのアクセス制御の方法はいくつかありますが、今回
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
