AWS SDK for PHPでAmazon S3にファイルをアップロードする | iret.media
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 タイトルのとおり、AWS SDK for PHPでAmazon S3にファイルをアップロードしてみましょう。 環境準備 今回は手元のMacでやります。PHPが入ってなければ入れましょう。 サーバー側でやる場合も同様です。プラットフォームに合った方法でインストールしてください。 AWS SDK for PHP 2をセットアップ Getting Started with the AWS SDK for PHP を見ながら進めましょう。 インストール先のディレクトリの作成 $ mkdir -p ~/workspace/aws-php-sample $ cd ~/workspace/aws-php-sample Composerのインストール $ curl -sS https://getcomposer.org/i
fluent-plugin-forest を使ってログを効率よく出し分けたのでメモ | iret.media
どうも、手短野郎かっぱ（@inokara）です。今回も手短に。 効率よく = 設定ファイルを最小限に 下図のように複数の VirtualHost のアクセスログファイルを読み込んで S3 のバケットに読み込むファイル毎にフォルダを作ってログを放り込むようなことをしたいと思った時に… うっかりとして各ログファイル毎に match ディレクティブを書いてしまいそうになった時、fluent-plugin-forest に出会い、td-agent.conf の設定は下記のように設定することで冗長な td-agent.conf にならずにすみました。 <source> type tail path /var/log/httpd/access_xxxxx.log pos_file /var/log/td-agent/access_xxxxx.log.pos tag apache.xxxxx forma
画像配信にS3(同一ドメインの別FQDN)を使いたい場合のDNS設定方法 | iret.media
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 S3に画像ファイルなどを上げてWebsite HostingをONにするだけだと、URLの構造が以下のような感じになります。 ｈｔｔｐｓ://s3-ap-northeast-1.amazonaws.com/img.foobar.com/test.jpg 既存のサーバーから画像ファイルの配信元をS3に移行しようとした場合に、上記のようなURLに書き換えるようにプラグインなどで設定してあげる必要がありますが、どうせならもうちょっと格好いい感じにしたい。 ということで以下のようにしたい。 HTMLは既存のサーバーのfoobar.comから配信する。 foobar.comのDNSは既存のDNSを使っている 画像ファイルをS3からimg.foobar.comという既存サーバーのサブドメインで配信したい こんな場合、ど
fluent-plugin-s3 でログを日付毎のディレクトリに置きたい場合にやること | iret.media
手短に…かっぱ（@inokara) です。 やりたいこと やりたいこと… fluent-plugin-s3 を使っていてバケット以下でディレクトリを作って更にその配下に日付毎のログを保存したい 以下のような感じでログを保存したいと思います。 ${BUCKET}/logs/YYYYMMDD/YYYYMMDD-H.gz さて、どうするか 必要なもの Amazon S3 fluent-plugin-s3 fluent-plugin-s3 のインストール方法とか割愛。 td-agent.conf 以下のように書きました。 type s3 aws_key_id AKxxxxxxxxxxxxxxxxxxxxxxx aws_sec_key xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx s3_bucket ${BUCKET} s3_endpoint s3-ap-northea
[powershell]ログファイル等のバックアップ・削除・S3アップロード | iret.media
cloudpack の 三浦 剛慈です。 windowサーバ用に、ローカルの指定ディレクトリ配下のファイルで指定期間を過ぎているものに対して、バックアップ(move)・削除・S3アップロードを行うスクリプトをpowershellで書きました。 ディレクトリファイルは対象外としています。 ログファイルのバックアップ処理等に利用出来ると思います。 ファイル名：fileOp.ps1 param ( [int ]$days=0, [string]$SrcDirpath, [string]$DestDirpath, [string]$S3backetPath, [switch]$del, [switch]$mv, [switch]$s3up ) function checkparam([string]$ldel,[string]$lmv,[string]$ls3up,[string]$lSrcDir
Amazon S3 再入門 – AWS IAMでアクセスしてみよう！(Cyberduck 編) | iret.media
こんにちわ、cloudpack の @dz_ こと大平かづみです。 Prologue 3年前の記事 Amazon S3の利用とCloudBerry Explorerのインストール を、IAMユーザーを使った内容でリバイバルしてみました！ 参考元の記事では、ブログ等で使う画像を S3 に置いて利用する手順が紹介されています。 これを、 AWS IAMユーザーでの認証 を使って対応する手順についてまとめました。 今後、AWS IAM を利用する運用が主流となってくるので、ここでしっかり最初の一歩を押さえておきたいと思います。 作業の流れ IAMユーザーを作成 IAMユーザーに、ポリシーを設定 IAMユーザーに、パスワードの初期設定 IAMユーザーで sign-in Amazon S3 に、Bucket を作成して、AWSコンソールからファイルをアップロード デスクトップクライアント Cyber
Amazon S3に別アカウントから書き込みを許可する場合の設定 | iret.media
cloudpack の 磯辺(@muramasa64)です。 あるバケットに、別のアカウントから読み書きできるようにバケットポリシーを定義したい。普通に考えると、下記のような感じになるだろう。 { "Version": "2012-10-17", "Id": "Policy1406782030997", "Statement": [ { "Sid": "Stmt1406782027567", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject", "s3:ListBucket", ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::s3-acl-test", "arn:aws:s3:::s3-acl-test/*" ], "Principal": { "AWS": [ "0
ELBアクセスログを期限付きでS3に自動保存する設定 | iret.media
cloudpack の 三浦 剛慈です。 ELBアクセスログを期限付きでS3に自動保存する設定 ・ELBのログ保存機能 ・S3のlifecycle設定 を利用して、2つのELBに対するアクセスログを、同一バケットの別フォルダに期限付きで保存するよう設定します。 今回の例では ＜ELB＞ 1.elb01 2.elb02 の二つのELBを利用し、 ＜S3＞ koujibacketバケットのelbフォルダ下にelb01とelb02のアクセスログを期限付きで保存します。 参考URL: http://docs.aws.amazon.com/ElasticLoadBalancing/latest/DeveloperGuide/configure-s3-bucket.html http://docs.aws.amazon.com/AmazonS3/latest/dev/object-lifecycle-
AWS 白帯シリーズ(7) S3 に Proxy 経由でアクセスした場合に IAM ロールがどんな感じで適用されるのか確認した | iret.media
cloudpack の 自称 Sensu芸人 の かっぱこと 川原 洋平（@inokara）です。 はじめに S3 を Proxy 経由でアクセスするにあたってクライアント、Proxy とバケットに対してそれぞれ異なる IAM ロールが適用されている場合にどんなふうな動きをするのか確認しました。 your_bucket に対する IAM ロール 以下のようなロールを設定したクライアント又は Proxy サーバーを起動して確認してみました。 バケットとオブジェクトへの操作を全て許可（ポリシーパターン A） { "Statement": [ //オブジェクトに対するポリシー { "Action": [ "s3:*" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::your-bucket/*" ] }, //バケットに対するポリシー { "Ac
S3 の事前署名付き（期限付き）URL を生成する
S3 見習い兼 PHP と Ruby 初心者のかっぱ(@inokara)です。 はじめに 既にご存知の方もいらっしゃると思いますが、Amazon S3 の各バケットに保存されているコンテンツ（オブジェクト）に期限をつけてアクセスさせることが出来る機能（以下、「期限付き URL 生成機能」）があります。これは一時的に一部の方にだけファイルをダウンロードさせたい時等に非常に便利な機能だと思います。 Uploading Objects Using Pre-Signed URLs この期限付きの URL 生成方法について AWS SDK for PHP と AWS SDK for Ruby の二種類を利用した手順を簡単にまとめてみたいと思います。 尚、上記のドキュメントでは Pre-Signed URL（事前署名付き URL）とありますが、本記事はタイトルを除いて、全編を通して期限付き URL と
Amazon S3の操作ポリシーを設定する | iret.media
cloudpack の がみさんです。 すぐ忘れてしまうのでメモ。 Amazon S3バケットへのアクセス制限を設けたいケースが多々あると思います。 カジュアルに必要な項目だけ書き換えて渡しておけるほうがよいのでメモを残します。 これはCyberduckを利用して、特定IPからhogehogebucketへのフルアクセスを許可するポリシーです。 CyberduckはAWSアカウントが所持するバケットを全てリストしないといけません。 ListAllMyBucketsを付与しておく必要が有ります。 操作を許可しないバケットも表示させないといけないのが、状況よっては宜しくないかもしれません。 { "Version": "2012-10-17", "Statement": [ { "Sid": "", "Effect": "Allow", "Action": [ "s3:ListAllMyBuck
RDS for MySQLからテーブルをCSV出力してS3に格納する手順 | iret.media
■前準備（サーバーはAmazon LinuxのEC2を想定） インストールされている全てのパッケージのアップデートをしておく $ sudo yum -y update pipをインストールしておく $ sudo easy_install pip EC2にMySQLクライアント(mysqlコマンド)をインストールしておく（詳細割愛） EC2にAWS CLIをインストール $ sudo pip install awscli デフォルトのAWS CLI環境設定ファイルを作成 $ mkdir -m 700 .aws $ vi .aws/config aws_access_key_id = [Access Key ID] aws_secret_access_key = [Secret Access Key] region = [Region Name] EC2上にCSV出力先ディレクトリを作成 mk
cloudpackブログ - Amazon Elastic Transcoderってなんじゃ？
Amazon Elastic Transcoderというサービス（Beta版）がリリースされました。 このサービスは、S3を利用したVideoの変換サービスのようです。 それでは、実際に試してみたいと思います。 AWSコンソールを見ると、「Amazon Elastic Transcoder」という新しい項目が増えているのがわかります。 はじめに、「Create new pipeline」をクリックすると、Pipelineの定義画面になります。 Pipelineでは変換したいビデオファイルがある入力元バケットと変換したビデオの出力先のバケットを指定します。 Pipeline Name：任意の名前を付けます。 Input Bucket：変換元のビデオファイルが置いてあるS3のバケット名。 Output Bucket：変換後のビデオファイルを保存したいS3のバケット名。 IAM Role：Tra
cloudpackブログ - S3をチェック(Read/Write)するNagiosプラグイン
S3をチェック(Read/Write)するNagiosプラグインを下記のように作ってみました。 # cat /usr/lib64/nagios/plugins/check_aws_s3 #!/bin/sh . `dirname $0`/utils.sh WARN=wrire CRIT=read while getopts c:w:b:t:f: OPTNAME; do case "$OPTNAME" in w) WARN="$OPTARG" ;; c) CRIT="$OPTARG" ;; b) BACKET="$OPTARG" ;; t) TEMP="$OPTARG" ;; f) FILE="$OPTARG" ;; *) echo "UNKNOWN: Usage" exit $STATE_UNKNOWN ;; esac done echo "s3 test" > $TEMP s3cmd -c
cloudpackブログ - S3ってなんじゃ？（CloudFrontでストリーミングログを取得）
CloudFrontでストリーミングをする時に、デフォルトで試聴ログが取れるので、 試してみました。 ○ストリーミングの設定 はじめに、ストリーミング用とログ用のにバケットを2つ用意します。 stream.memorycraft.jp：CDNストリーミングとプレイヤーのWEBホスト用のバケット log.stream.memorycraft.jp：ストリームログ用のバケット CDN用のバケットではストリーミングする動画プレイヤーのページをWEBホスティングするので、 「Website」の設定をしておきます。 次にストリーミング用のバケットにプレイヤーとムービー等をアップロードします。 今回はWEBプレイヤーのJWPlayerを使用しました。 このフリープレイヤーには、ムービーのサンプルとプレイヤーを埋め込むためのHTMLのテンプレートが 用意されているので、以下のように変更してCDN用のバケ
cloudpackブログ - S3のファイルサイズをチェックするNagiosプラグイン(PHP)
下記2つの記事で、S3(バケット)のファイルサイズが取得できるようになりましたので、今回はS3のファイルサイズをチェックするNagiosプラグインを作ってみました。 S3で利用されているバケットのファイルサイズの取得 S3で利用されているファイルサイズ(全バケット)の取得 はじめに、下記のようなAWSのAPIを利用するためのキーを保存したファイルを用意します。 ○ credential.yml accessKey: “AAAAAAAAAAAAAAAAAAAA” secretKey: “ssssssssssssssssssssssssssssssssssssssss” 次に下記のスクリプト(PHP)を用意します。 ▼ check_s3size require_once("/opt/aws/php/latest/sdk.class.php"); // define status $ok = a
cloudpackブログ - S3で利用されているファイルサイズ(全バケット)の取得
S3で利用されているバケットのファイルサイズの取得で紹介したものは、指定した単一バケットに対するファイルサイズの取得でしたが、今回はすべてのバケットのファイルサイズの合計を出力するものになります。 require_once("/opt/aws/php/latest/sdk.class.php"); $s3 = new AmazonS3( "AAAAAAAAAAAAAAAAAAAA", "ssssssssssssssssssssssssssssssssssssssss" ); $s3->use_ssl = false; $bucket_list = $s3->get_bucket_list(); $total_filesize = 0; foreach($bucket_list as $bucket) { $total_filesize += $s3->get_bucket_filesize
cloudpackブログ - IAMで、S3のバケット内の特定のオブジェクト以下のみ許可する
2011年11月14日 IAMで、S3のバケット内の特定のオブジェクト以下のみ許可する Tweet S3に様々なユーザがアクセスする場合に、あるユーザが、あるバケットの特定のオブジェクト以下のみのアクセスを 許可する場合の権限を作成してみました。 条件としては、以下の通りです。 バケット名: bucket_name 許可したいオブジェクト: /path/to/dir バケット名の一覧は見える 対象のバケット以外は、中が見えない 対象のディレクトリ以外は、一覧は見える 対象のディレクトリ内は、自由に読み書きできる そして、苦労して試行錯誤した結果できたのが、以下のポリシーです。 { "Statement": [ { "Action": "s3:ListAllMyBuckets", "Effect": "Allow", "Resource": "*" }, { "Action": "s3:
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cloudpackブログ - ANDROID IRETはCDNホスティングからS3ホスティングへ移行しました