[新機能] S3 の利用状況が一目瞭然！しかも無料！「Amazon S3 Storage Lens」がリリースされました！ | DevelopersIO
本日のアップデートで Amazon S3 Storage Lens がリリースされました。 Amazon S3 Storage Lens delivers organization-wide visibility into object storage usage and activity trends S3 Storage Lens とは S3 Storage Lens はオブジェクトストレージの使用状況とアクティビティの傾向を可視化し、コスト効率化、データ保護に関するベストプラクティスに向けた推奨事項が提供されます。また AWS Organizations と連携することで AWS Organizations 内のアカウント全体のストレージ使用状況、アクティビティを単一ビューで管理できます。 無料でも使える！ 標準メトリクスのみの場合、S3 Storage Lens は無料で利用できま
![[新機能] S3 の利用状況が一目瞭然！しかも無料！「Amazon S3 Storage Lens」がリリースされました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/52569aeaa1f23a36652545afc3a78751dd01fecc/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-s3.png)
オンプレ環境からS3へのファイル転送方式についてこれまで試したパターンまとめ | DevelopersIO
西澤です。AWS上にシステムを移行する上で、毎度のようにご相談を受けるのが、S3へのファイル転送をどうするか？という問題です。ビッグデータの元となる大量のファイル、RDBのダンプファイル、その他のバックアップファイル等を含め、安価で堅牢なS3にまずはデータを格納し、そこから自由に利用したいというユーザの希望を実現する為に、まずは何よりもS3にファイルを持っていかなければなりません。 今回は、過去のブログも遡りつつ、これまで試してみた各種転送方式をご紹介し、それぞれのユースケースを整理しておこうと思います。また、この記事は書きっぱなしにするのではなく、今後必要に応じてメンテナンスもすることで、再利用できるような記事に育てていきたいなと思っています（執筆時点での意気込みであり、何かを保証するものではありません）。 前提 Amazon Kinesis Streamsを利用するようなリアルタイム処
［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco
［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco Amazon Web Servicesは、サンフランシスコでイベント「AWS Summit 2017 San Francisco」を開催。データウェアハウスの新サービス「Amazon Redshift Spectrum」を発表しました。 Amazon S3にデータを保存したままデータウェアハウスで分析可能 Amazon.com CTOのWerner Vogels氏。 多くの顧客で、ペタバイトから多い場合にはエクサバイトクラスの生データがAmazon S3に保存されており、これをAmazon Redshiftへ取り込むのは時間やコストの制約で難しいと考えられていると。 そこで「Amazon Red
Fluentd&Kinesis&Lambdaによる柔軟で高可用性なログ収集基盤の構築 - Qiita
概要 Fluentdによるログ収集基盤を、Lambda&Kinesisを利用した形で構成を変更したので、その時のメモ。 先に一言で感想を述べるのであれば、巷の噂通り、Kinesis&Lambdaは素敵でした。 Fluentd Aggregatorが抱える問題点 ログデータをFluentdのForwarder & Aggregatorを経由し、S3とRedshiftに保存するような構成でしたが、Aggregatorは冗長化しづらくボトルネックとなっていました。 ログ収集に求める要件 ログ収集の構成を改善するにあたり、先に挙げた目の前の問題点を解決するのは勿論ですが、他にも様々な要件があり、大別すると以下4つ。 信頼性: データをロスなく収集することができる。 安定性: ログ量に関係なく安定的なパフォーマンスを維持できる。 冗長性: 安全かつ簡単にスケーリングが可能 汎用性: 複数ログを複数サ
第3回 CLIのパワーアップとEC2を起動する | gihyo.jp
前回S3にhtmlをアップロードしてブラウザから表示するところまで、できた。その後、いろいろ試していくうちに、CSSやJSも同じように置くことで、静的なサイトであればすべてS3だけで運用できることがわかった。もし、静的なページのためにサーバを借りているならS3で済んでしまうんじゃないかと思った。 でも、やっぱりサーバ構築がしたい。正直ミドルウェアをインストールしている時が自分にとって最高に気持ちのいい時間だし、「俺ってインフラエンジニアやってるな」って気になれる。 今日はサーバを起動して、なんかミドルウェアなんかを入れていい感じに動かしてみる、なんてことをやってみようと思う。 CLIをパワーアップ 補完をきかす 前回S3を使ってみた時に思ったことだけど、いちいちコマンドを調べるのが面倒くさくて仕方ない。chmodだってあると思ったのになかったし、こういう無駄な作業が嫌いだ。 気持ちよくコ
何故S3（オブジェクトストレージ）を使わなければいけないのか - komagataのブログ
怖話を作っていてインフラを含めた設計で迷っている箇所がいくつか溜まってきたのですが、もしいい方法があったら教えて欲しいという点をブログに書いていきたいと思います。 前提 エンジニアは僕一人だけなので極力手間を減らしたい怖話は広告モデルなのでアクセス辺りの収益が低い。なるべく安く（できれば無料に）したいデザイナーやインターンの人も開発するので複雑にしたくない（例えば怖話をローカルで開発する環境を作るのにredisとかfluentdとかいろんなサーバープロセスを立てないと画面が確認できないとか） 画像の置き場所に困る怖話はアクセス負荷的にappサーバーの2台目が必要かな？ぐらいの状態にあります。 appサーバーが複数台になると画像などのアップロードされるファイルの置き場を共通にする必要が出る。 一度はappサーバー2台でS3 + CloudFrontにしましたが、転送料が高いからappサーバー
%E8%87%AA%E5%AE%85%E3%81%A7%E5%A4%A7%E5%AE%B9%E9%87%8F%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8%E3%82%92%E9%81%8B%E7%94%A8%E3%81%99%E3%82%8B
前回 RAID に関するちょっとした話を書きましたが個人が巨大なストレージを運用するにあたって得られたノウハウをだいたい全部書いておきます。 そもそもメリットあるのか？ メリットはあります。金です。 Google Drive は安いですが、それでも 1TB 月 1000 円です。しかし運用にかなり制限がでます。柔軟に使える Amazon Web Service ならその 3 倍+転送量課金です。 16TB だと月 5 万円もかかってしまいます。ちなみにもっとも柔軟に使える EBS だと 16TB で 83000 円ぐらいです。 Google Compute Engine の低冗長性ストレージは S3 より少し安かった気はするけど別にとても安いわけではなかったと思う(よく覚えていないし調べるのがめんどくさい)。 50TB のストレージを Google Drive でごまかしごまかし運用したと
AWS SDK for Ruby を使ってコンテンツを S3 に gzip 圧縮して保存する | DevelopersIO
S3 でコンテンツを gzip に対応させる方法は、オブジェクトの Metadata に対して、Content-Encoding を指定できるのでここに指定します。 Ruby の AWS SDK Core を使ってアップロードとダウンロードを試してみました。 アップロード アップロードするスクリプトは以下です。 require 'tempfile' require 'active_support/gzip' require 'aws-sdk-core' temp = Tempfile.new('sample') temp.print 'test ' * 100 temp.rewind gzip_data = ActiveSupport::Gzip.compress(temp.gets) temp.close s3 = Aws::S3::Client.new(region: 'ap-nort
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
