Kyoto.なんか #3の資料です
CLOUD FREEDOM FOR DEVELOPERSTHE OPEN SOURCE WAY TO CONTROL YOUR DATA ACROSS MULTIPLE CLOUDS
PackerBuild and manage images as code
大量のファイルをgzipしたものをS3に配置したいニーズがあって、非力な手元のマシンで一旦gzipしてから転送するよりはLambdaにやらせたらいいのではないか?ということでやってみました。 以下のようなLambda functionを設置 大きなファイル(数十MB以上)を扱う場合はtimeoutをデフォルトの3秒から伸ばす。メモリも128MBでは足りないことがあるので512MBなど S3の読み書き権限があるIAM Roleを設定 S3のイベント通知でLambda functionをkick aws s3 sync で大量のファイルを同期してもアップロードが終わったファイルから順番に処理が走るので、同期が終わった数秒後にはgzipされたファイルが生成されている状態になります。 var aws = require('aws-sdk'); var zlib = require('zlib');
先日の記事で、大きめの処理をLambda+CloudFormationで実行するめどがついたので、S3+Lambda+CloudFormationでサーバレスyumリポジトリを作ってみた。 処理の概要 S3にrpmを追加・更新・削除 Lambdaがイベントをフック→cfnスタックを作成 cfnスタックがEC2インスタンスを起動→S3リポジトリをダウンロード createrepoを実行して、インデックスをS3にアップロード cfnスタックは処理完了後に自動的に削除 Lambda Function こんな感じ。 var Promise = require('bluebird'); var AWS = require("aws-sdk"); AWS.config.update({region: 'ap-northeast-1'}); var cloudformation = Promise.pr
この記事は AWS Lambda アドベントカレンダー 20日目の記事です。 前回19日目は、 Keisuke69さんによるAWS LambdaのPricingを読み解く - Qiitaでした。 はじめに S3でファイル授受をする場合、S3のsigned urlを使うケースが多いかと思います。 しかしながら、たとえば会社の規則でダウンロードURLとパスワードを別のメールで送ることになっているような場合、signed urlが使いにくい場合があります。S3でベーシック認証やDigest認証が欲しいという要望が根強いのはこういう理由も多いようです。 そこで今回は、LambdaとS3を使って、パスワード認証の出来るファイル便を作ってみました。 デモサイト:https://lambda-passwordauth.s3-us-west-2.amazonaws.com/upload.html 仕組み
CloudFront+S3の画像配信システムに、サムネイルとかに使う画像のリサイズ機能を追加してみる。 要するにオリジナル画像がこのURLだとすると、 http://xxx.cloudfront.net/sample.jpg こういうURLで100×100にリサイズできるようにする。 http://xxx.cloudfront.net/resize/100x100/sample.jpg システム構成 元の構成はこういうのを想定。 画像はS3に保存され、アクセスは全てCloudFront経由。 これをパスが/resize/で始まる場合は、画像変換サーバを通してリサイズするようにする。 画像変換サーバはEC2で、ちゃんとELBを使って冗長化もする。 既にELB+EC2でAPPサーバを運用しているなら、流用して追加コスト0で実現できるかも。 画像変換サーバの設定 今回はnginxのimage_f
みなさまこんにちは。@riaf でございます。 さて、先日は Slack を導入するととてもいい効果が生まれるお話をしましたが、今日はスクリーンショットを共有したり、ちょっとした画像を共有したりするのに使える社内用 Gyazo を用意したお話をします。 Gyazo ってご存知ですか?(いちおう) ソフトを起動すると、カーソルが十字になって、画面を範囲選択するとその部分のスクリーンショットが自動的にサーバーにアップロードされて URL が発行されるのでとっても素敵!なサービスです。 とはいえ、社内で共有する画像ファイルは、社内の人で管理できると安心できますよね。 この、Gyazo が提供しているアプリは少しいじるとアップロード先が変更できたり、Windows 版では設定ファイルで変更できるようにしたサードパーティのアプリがあったりするので、サーバー側さえなんとかすれば良いということですね。ア
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
2014年06月12日10:36 AWS Ruby S3に置かれているファイルを別パスにコピーする paperclip を使っていて画像を S3 に 保存しているとします。 そのとき、S3 上のファイルを別のパスにコピーしたい事例があったので、そのときのやり方をメモっておきます。出来てしまえばいたって簡単なんですが、頻繁にやる作業でもないので結局調べることになってしまう。。>< 例えば User の画像を path/to/#{filename} から path/to/new/#{filename} にコピーするなら require 'aws-sdk' AWS.config( access_key_id: YOUR_ACCESS_KEY_ID, secret_access_key: YOUR_SECRET_ACCESS_KEY ) s3 = AWS::S3.new User.all.each
S3 で公開しているバケットをバックエンドに nginx モジュール ngx_small_light を利用して画像をリサイズする方法をメモ http://d.hatena.ne.jp/akishin999/20130619/ にローカルの画像を対象にした画像変換手順が書かれているので、そこに S3 バックエンドを追記しただけとも言える。 ngx_small_light について github で公開 https://github.com/cubicdaiya/ngx_small_light pixiv の中の人が開発した nginx モジュール Apache 向け mod_small_light の nginx 移植 https://code.google.com/p/smalllight/ 画像変換エンジンは ImageMagick/Imlib2/GD から選択可能 構成 client
Gyazo、便利ですよね。大変便利なので、社内でプライベートなGyazoサーバを用意して使っている会社も多いと思います。 うちでもサーバのパフォーマンスは特に必要ないので社内に適当なVMを立てて運用していたのですが、数年単位で運用していると画像ファイルが増えていくためdiskをなんとかする必要に迫られました。 ここでどんどん増えるファイルはAmazon S3に逃がそう、という自然な発想に至るわけですが、Gyazoサーバアプリが投稿を受けたときにS3にアップロードするような改修をするのは年末の忙しい時期に面倒。楽したい。 ということで S3 と nginx を組み合わせていいかんじに運用できるようにしてみました。 Gyazoに限らず、 ローカルに書き込んだファイルをhttpで閲覧する 一度書き込まれたファイルには変更がない ファイルは消えないでどんどん増える ようなものには応用できると思いま
September 20, 2013 デイリーのログファイルをS3へバックアップしたいという事案はよくあると思います。 一つの例として私の方法を載せますので、よりよい方法などあれば教えて頂きたいです。 backup dir /var/log/backup/nginx/YYYYMMDD/ /var/log/backup/app/YYYYMMDD/ backup file /var/log/backup/nginx/20130918/access.20130918-00.log.gz /var/log/backup/nginx/20130918/access.20130918-01.log.gz /var/log/backup/nginx/20130918/access.20130918-02.log.gz … /var/log/backup/app/20130918/app.20130918
イベント用に立ち上げた WordPress サイトとか、もう将来にわたって更新する可能性の無いサイトって一つや二つありますよね。 もう要らないからと言ってドメインを手放したりすると、中古ドメイン屋に買われ風俗サイトにリニューアルされたりするので、できればそのままにしておきたいです。 しかし WordPress のバージョンアップをせずに放置していると、これまた最悪の場合脆弱性をつかれて乗っ取られたとかってことにもなりかねません。 また、月々のサーバ代もバカにならないですよね… そんなときは、AWS の S3 でホスティングしてあげましょう。これを「サイトの永代供養」と呼ぶらしいです。 恐ろしいほどコストダウンできますよ。 月額10円~でレンタルサーバーをはじめる方法 | アマゾン ウェブ サービス(AWS) 月額10円〜 – Amazon S3でウェブサイトをホスティングする方法 – Am
Amazon S3 Tools: Command Line S3 Client Software and S3 Backup AWS S3 Command Line Clients for Windows, Linux, Mac. Backup to S3, upload, retrieve, query data on Amazon S3. S3cmd : Command Line S3 Client and Backup for Linux and Mac Amazon S3 is a reasonably priced data storage service. Ideal for off-site file backups, file archiving, web hosting and other data storage needs. It is generally more
Saving Time and Money with Fake S3 Online storage has become a necessity to many people. This is because of the security associated with online storage. One of the most common online storage is the Simple Storage Service, popularly known as S3, offered by Amazon Web Services. In as much as it is a good service, we at spool believe that the Amazon guys are exploiting people. Amazon S3 is a extremel
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く