【AWS】S3まとめ - Qiita
どうも、iron千葉です。 S3について、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです S3は奥が深い。 S3とは？ インターネットストレージ（平たく言うとgoogleドライブ、evernoteのようなwebブラウザから利用できるストレージ） S3はAPIまたはAWS CLIにてプログラムから操作（ファイルのアップロード、ダウンロード、削除）ができる 容量制限なし データはいつでもダウンロード可能 柔軟なアクセス制御ができる（IAM、アクセスコントロール、バケットポリシー） S3の概念 バケット バッケットを作成し、その配下にデータを格納する バケットはS3の中で一番大きな バケットは複数作成できる バケットでアクセス制御が可能 バケット作成時は、配置するリージョンを指定する オブジェクト オブジェクトは、データ（アップロードファ
Amazon S3の利用料節約を考えてみる ~apache(mod_proxy,mod_cache設定編）
Amazon S3の利用料節約を考えてみる ~apache(mod_proxy,mod_cache設定編） Amazon S3の利用料節約を考えてみる（の結果） の続きの話しです。前回、構成については説明しましたが、具体的にapacheでどうやっているの？については触れていなかったので、今回apacheの設定に絞って説明したいと思います。 こんな構成 haproxy の話しは今回のリバースプロキシにはとりあえずあまり関係のない話しなので割愛しますね apache のインストール apache 最新版をyum でインストールする にまとめました。これを参考にと言いたいところですが、単にこれでインストールしましたと言いたかっただけなので無視してもらって結構です /etc/init.d/httpd.conf の編集 インストールが無事完了しましたら、httpd.confの編集をします 以下の箇所
S3の100万オブジェクトを簡単に消す方法 - Qiita
はじめに とある案件のクロージングでS3のオブジェクトを消すのにちょっと苦労したので、その共有です。時間のない方はまとめだけよむとよいです。 マネジメントコンソールから消す 1日目 AWSマネジメントコンソールにログインして、S3に移動、バケットを選択して「delete」 次の日になったら消えるだろうということで、その日はそのまま帰りました。 マネジメントコンソールから消す 2日目、朝 朝、会社にくると、まったく消えていませんでした。STSをつかったログインだったので1時間程度で削除権限がなくなったようです。 IAMユーザーを作成して、そのユーザーで削除を実行しました。 その間、別の作業をすることにしました。 マネジメントコンソールから消す 2日目、夜 夜、朝の作業をおもいだし、実行結果を確認しようとしました。 ですが、削除処理を実行しているブラウザ画面がどこかにいってしまいました。たぶん
AWS LambdaでS3に配置されたファイルをgzipする - Qiita
大量のファイルをgzipしたものをS3に配置したいニーズがあって、非力な手元のマシンで一旦gzipしてから転送するよりはLambdaにやらせたらいいのではないか？ということでやってみました。 以下のようなLambda functionを設置 大きなファイル(数十MB以上)を扱う場合はtimeoutをデフォルトの3秒から伸ばす。メモリも128MBでは足りないことがあるので512MBなど S3の読み書き権限があるIAM Roleを設定 S3のイベント通知でLambda functionをkick aws s3 sync で大量のファイルを同期してもアップロードが終わったファイルから順番に処理が走るので、同期が終わった数秒後にはgzipされたファイルが生成されている状態になります。 var aws = require('aws-sdk'); var zlib = require('zlib');
MogileFS をバックエンドとしたPrivate S3の作り方 【後半】API 編
http://www.slideshare.net/lamanotrama/mogilefsprivate-s3 とワンセットの発表となります
MinIO | S3 & Kubernetes Native Object Storage for AI
The Object Store for AI Data Infrastructure MinIO is a high-performance, S3 compatible object store. It is built for large scale AI/ML, data lake and database workloads. It is software-defined and runs on any cloud or on-premises infrastructure. MinIO is dual-licensed under open source GNU AGPL v3 and a commercial enterprise license.
CloudFront+S3の画像配信にリサイズ機能を追加する - 俺たちのブログ
CloudFront+S3の画像配信システムに、サムネイルとかに使う画像のリサイズ機能を追加してみる。 要するにオリジナル画像がこのURLだとすると、 http://xxx.cloudfront.net/sample.jpg こういうURLで100×100にリサイズできるようにする。 http://xxx.cloudfront.net/resize/100x100/sample.jpg システム構成 元の構成はこういうのを想定。 画像はS3に保存され、アクセスは全てCloudFront経由。 これをパスが/resize/で始まる場合は、画像変換サーバを通してリサイズするようにする。 画像変換サーバはEC2で、ちゃんとELBを使って冗長化もする。 既にELB+EC2でAPPサーバを運用しているなら、流用して追加コスト0で実現できるかも。 画像変換サーバの設定 今回はnginxのimage_f
修行おわりました＋画像変換サーバーSharaq : D-7 <altijd in beweging>
月曜からいきなりとほほな話ですが。Kuradoを全ホストに突っ込み監視体制ができた。 で、それの使い方等を説明して修行を終えたので、先日からHDE incでお世話になっております。修行期間は３ヶ月、プー期間は５日でした！自慢できませんね！ とりあえず「あ〜あ」は本人が一番思っていますので、とほほなブクマはいりません。もしあれでしたら砂でも送ってく… いや、やめて。あたたかい言葉かビールの一杯をよろしくお願いいたします。しかしまぁ、このブログを公開しようと思った瞬間に土下座して復職みたいなエントリが炎上しててタイミング悪いったらありゃしないですね。まぁ僕はいつでも自分のこの手の決断について後悔したことはありません。 ともあれ、自分の今後していくことは前のエントリで書いたのとほぼ一緒です。がんがん朝早く出勤してすごい早く帰宅して子育てしてるし、がんがんコード書くし（最近明らかにGoが業務コード
Amazon S3の画像をAWS Cloudfrontで配信するキャッシュコントロールをAWS Lambdaで自動化する | DevelopersIO
こんにちは、せーのです。今日はS3の画像をCloudfrontで配信する際のコツを自動化してしまおう、という試みです。 Cloudfrontキャッシュコントロールおさらい Cloudfrontは静的、動的関わらずキャッシュしてくれるとても便利なCDNサービスですが、Cloudfrontにてキャッシュしてくれる時間（TTL）は基本Cache-Control max-ageヘッダやExpiresにて制御します。更にCloudfront自体の設定にも[minimum TTL]というものがあり、これはヘッダで設定されたキャッシュ時間を強制的に上書きするためのものです。 ここで理解しておきたいのが「ヘッダとminimum TTLのキャッシュ時間の関係」です。詳しくはこちらの記事に書いてありますが、基本的には「キャッシュコントロールはヘッダありき。ヘッダの設定より長く強制的に上書きしたい時にminim
Rails / 定期的に Amazon S3 のファイルを読み込んで処理するRakeタスク
Amazon S3にファイルが入っていて、 Railsのrakeタスクかなんかで定期的に処理を走らせるみたいな。 そんな事あんまりないかもしれないけど、今回必要だったのでメモ。 例えばこんな状況 営業が .csv を Amazon S3 にアップロード 定期的にRakeタスクを実行してDBに取り込む S3はこんな構成になっているとする。 my_bucketの中身を読み込みたい。 other_bucket my_bucket data record-2015-02-09 01.csv 02.csv record-2015-02-10 01.csv 02.csv 他の誰かからS3に安全にアップロードしてもらう方法はこちら。 Developerではない人にはFTPクライアント使ってもらいます。 http://www.workabroad.jp/posts/2131 Gem aws/aws-sdk
S3のZipファイルをRangeでバイナリアクセスして料金を節約 - HDE BLOG
あけおめころよろメリクリ!! 尾藤 a.k.a. BTOです。 今年も残すところ、あと357日となりましたが、みなさんいかがおすごしでしょうか。 今年の目標は、純白のメルセデス、プール付きのマンション、最高の女とベッドでドン・ペリニヨンの3つです。 さて、今回はS3上に置いたZipファイルをHTTPのRangeパラメータでバイナリアクセスして、料金を節約した話を書きます。 検索インデックスのデータ量が増大 メールアーカイバでは、検索インデックスを mongodb に格納していますが、データ量が増えるにしたがって性能的な問題が出てきました。なにしろ月間1億6000万通のメールを処理するので、検索インデックスのデータ量も大変なことになります。 amazon EBS 1TB制限 当時のEBSでは、最大で1TBのボリュームしか作れませんでした。 検索インデックスのデータ量の増え方は不規則なので、ど
S3のイベント通知機能（S3 Event Notifications）に対するユースケースを考える - プログラマでありたい
日本のAWS関係者がre:Inventの発表で盛り上がっているなか、風邪ひいて寝込んでました。季節の変わり目には、気をつけましょう。 さて、そんな感じで全然追いつけていませんが、特に面白いなぁと思ったのが、S3 Event NotificationsとAWS Lambdaです。Lambdaについてはまだ触っていないので何ともいえない部分がありますが、発表内容を見る限りインフラの在り方を変えるような存在かもしれません。そして、S3のEvent Notifications。これ、めちゃくちゃ便利です。S3のイベント（現在は、putとpushとcopy）が発生したら、SNSやSQSに通知を送れるという機能です。何が便利かというと、ファイルのアップロードをトリガーに処理を書けるということです。頭に浮かんだユースケースを1つ書いてみます。 S3 Event Notificationsを使ったクローラ
Qiitaの画像アップロード機能も簡単に実装できる。そう、S3ならね。 - Qiita
QiitaとKobitoで画像アップロードができるようになりました。 その後ろ側をちょっぴり公開します。 件名からも分かるように、背後ではAWSのS3を画像ストレージに採用しています。 画像アップロード機能をリリースしました - The Official Qiita Blog Kobito v1.6.1リリース: ドラッグ&ドロップやスクリーンショット撮影で簡単に画像を添付できるようになりました! - The Official Qiita Blog 用語統一 サーバ はQiitaのサーバのことを指すことにします。（つまり、S3ではない、ということ） また クライアント は各ユーザのブラウザのことを指します。 要件 画像アップロード機能を実装するにあたっていくつかの要求がありました。 成りすましを防げる アップロードされたファイルを管理できる 自分達のサーバに負荷をかけたくない 変な画像のア
IaaS型クラウド「さくらのクラウド」 | さくらインターネット
ビジネス規模や成長にフィットする さくらのクラウド クラウドはもちろん、物理も併用して最適なインフラ構成を実現 圧倒的なコストパフォーマンスデータ転送量無料！ データ転送量による従量課金がないため、コスト算出が容易で、想定外の出費となることがありません。
[nginx]S3をバックエンドにngx_small_lightで画像を動的にリサイズ
S3 で公開しているバケットをバックエンドに nginx モジュール ngx_small_light を利用して画像をリサイズする方法をメモ http://d.hatena.ne.jp/akishin999/20130619/ にローカルの画像を対象にした画像変換手順が書かれているので、そこに S3 バックエンドを追記しただけとも言える。 ngx_small_light について github で公開 https://github.com/cubicdaiya/ngx_small_light pixiv の中の人が開発した nginx モジュール Apache 向け mod_small_light の nginx 移植 https://code.google.com/p/smalllight/ 画像変換エンジンは ImageMagick/Imlib2/GD から選択可能 構成 client
![[nginx]S3をバックエンドにngx_small_lightで画像を動的にリサイズ](https://cdn-ak-scissors.b.st-hatena.com/image/square/558d53bd8632c04537f9b0ff297877a64b26b110/height=288;version=1;width=512/https%3A%2F%2Fsiguniang.files.wordpress.com%2F2014%2F01%2Fbenchmark1.png)
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
AWSはとんでもないものを盗んでいきました（JawsDays2013@shimy_net）
【LTセッション】推論をエッジで？いえ、PaaSです。 paasで推論を運用するとこんなに楽チン。_DLLAB推論ナイトDeep Learning Lab（ディープラーニング・ラボ）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - wantedly/nginx-image-server: Dockerfile for Dynamic Image Transformation Server with Nginx and Small Light module
http://www.blitztheory.com/direct-upload-with-s3_direct_upload/
Amazon Simple Storage Service