[B! AWS][s3] wakuworksのブックマーク

[新機能] Kinesis StreamsのデータをKinesis Firehoseへ直接配信できます | DevelopersIO

こんにちは、菊池です。 2017/8/25追記：Kinesis Firehoseの東京リージョンでの提供が開始されました。本日（日本時間：2017/8/19）の機能アップデートにより、Kinesis Streamsに配信されたデータを直接Kinesis Firehoseで読み取ることができるようになりました。 Amazon Kinesis Firehose can now read data directly from Amazon Kinesis Streams この機能統合により、Kinesis Streamsへ送信したデータを、S3やRedshiftへ簡単に保存しておくことが可能になります。試してみた Kinesis StreamsにPUTしたデータを、Firehoseを経由してS3に保存してみます。 Kinesis Streamの作成まずはストリームの作成です。今回はオレゴン

wakuworks 2017/08/20

S3
AWS

リンク

https://jp.techcrunch.com/2017/03/03/20170302aws-cloudsplains-what-happend-to-s3-storage-on-monday/

wakuworks 2017/03/03

S3
AWS

リンク

AWS CLIを使ってS3上でのリダイレクトを設定する

このブログは静的ファイルジェネレータのPelicanで作成したHTMLファイルをAWSのS3にホストしているのですが(過去記事)、今回URLを変更して、それに伴うリダイレクトをコマンドラインから設定しました。 flickr photo shared by ShanMcG213 under a Creative Commons ( BY-SA ) license 記事の年月日をURLからなくすことにしました。特に必要な理由もないし、短い方がいいなと思ったので。前: http://rn4ru.com/blog/posts/YYYY/bbb/DD/hogehoge/ 後: http://rn4ru.com/blog/posts/hogehoge/ すると問題になるのがリダイレクトです。URLを変更すると以前のURLでリンクされている記事が軒並みNotFoundになってしまい、せっかく見に来てく

wakuworks 2017/01/09

AWS
S3

リンク

現代ITインフラの王道をゆくLinuxパッケージ管理の基本構成 | 外道父の匠

RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯという構成を説明してみます。ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。そもそもパッケージは必要なのか言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした

wakuworks 2016/03/08

リンク

[S3, CloudFront] アップロード済みファイルのメタ情報を一括で変更する | DevelopersIO

既に S3 アップロードされているファイルのメタ情報を変更する場合、通常は S3 の Management Console にある Properties で設定でき、設定可能なメタ情報には、 Content-Type, Content-Encoding, Content-Language, Cache-Control, Expires 等があります。今回は、既に S3 にアップロード済の大量のファイルに対し、一括でメタ情報の変更を行い、 CloudFront のキャッシュを削除するまでの手順をまとめます。実行環境以下は ruby 2.1.2p95, Ruby AWS SDK ver2 を使用する前提で説明しています。手順今回は my-bucket という名前のバケットの、 mydir/images/... 以下にある、 500件程度のjpegファイルの Cache-Cont

wakuworks 2015/03/18

AWS
S3

リンク

WebブラウザからAmazon S3に直接ファイルをアップロードする | DevelopersIO

WebブラウザからAmazon S3へのクロスドメインアップロード今回は、Amazon S3のCORSの仕様に準じたクロスドメインアクセス機能を利用して、WebブラウザからS3へ直接ファイルをアップロードするサンプルアプリを作成してみたいと思います。 CORSに関しては別の記事にまとめていますので、そちらを参考にして下さい。開発環境今回の開発環境は下記の通りです。アプリケーションサーバはScalatraで作成しました。 OSX 10.8.3 Mountain Lion Google Chrome 25 Scala 2.9.2 sbt 0.12.2 Scalatra 2.2 TypeScript 0.8.3 ソースコードはGitHubで公開しています。ファイルアップロード処理の流れサンプルアプリの実装の前に、S3へのアップロードについて必要な知識を押さえておきたいと思います。ブラ

wakuworks 2015/02/18

リンク

CakePHP2でAWS S3を操作するプラグインを作りました | Basicinc Enjoy Hacking!

AmazonWebServicesのS3、とても便利ですよね。便利だし、安いし。パフォーマンスは…まぁそこそこ。最近、AWSのS3を画像ファイルのホスト先として使う機会が多くて、Amazonから提供されているAWS SDK fro PHPを使ってガリガリコードを書いていたんだけど、初期設定が面倒になったのでCakePHPのプラグインとしてまとめました。SDK使っているので、コード量自体は最初からスリムなんだけどね。ダウンロードはこちらから。 CakePHP2 AWS S3 DataSource 使い方は非常に簡単で、プラグインファイルを設置して、database.phpにAWSのキーなどを設定して、適当なモデルから呼び出すだけです。これを使えばコントローラからファイル操作はもちろん、モデルの中からでも簡単に操作出来ます。機能はファイルアップロード／削除／移動／コピーだけのシンプル構成

wakuworks 2015/02/11

リンク

Vagrant + WordPress + Amazon S3でブログをセキュア＆快適に運用する方法 – littlebird

WordPressは手軽にWebサイトが構築できるパワフルなツールですが、昨今その脆弱性を狙った攻撃が多様化しており、保守に関わるコストも増大しています。そこで本サイトでは、ローカルの仮想環境に構築したWordPressからHTMLファイルを生成し、完全な静的サイトとして安全に公開・運用するフローを導入しました。仮想環境や、WordPressの静的化というと難しく聞こえるかもしれませんが、便利なツールやプラグインを使えば、比較的簡単に実現することができるので、今回はその方法を紹介します。注意：このページの解説はMac OS X 10.9.5環境での作業を前提に動作の検証を行っています。 WordPressのセキュリティ対策について近年、WordPressに対するアタックが増加しており、度々ニュースにもなっていますが、皆さんWordPressのセキュリティ対策はどうされていますか？例

wakuworks 2015/01/31

リンク

nginxでS3へリバースプロキシ - Tech-Sketch

一般的に利用されるブラウザではJavaScriptによるクロスドメイン制約などセキュリティのための読み込みドメインの制約があります。そのためクラウド上のファイルなどを利用するときに上記の制約を受けて何らかの対策が必要になる場合があります。この対策の一つとしてリバースプロキシによって対応する方法があります。リバースプロキシを立ててすべてを解決するんだリバースプロキシで解決を試みると言うのは以下の図のような構成にすることです。このようにリバースプロキシを使うことでユーザのブラウザから見るとすべてのデータが同じドメインからのデータ取得になります。このような構成にするために次に具体的な設定をしてみます。リバースプロキシを立てようリバースプロキシを立てるにはApache、Squidなどの有名なWebサーバやProxyサーバを利用したり、最近ではnode.jsでスクリプトを書いて

wakuworks 2014/07/21

リンク

NginxでREST認証してS3へリバースプロキシー

こんにちわ。能年玲奈より川口春菜派のとおのぶです。能年さんを画像検索すると剛力さんが現れてちょっとびっくりしました。 blogで利用してる画像はAmazon S3にあるんですが、どこからでも見ることができる状態でした。セキュリティとしてイヤだなと思っていたので、S3へRESTで認証することにしました。認証はNginxで行います。やろうとしていることはnginxでS3へリバースプロキシと同じで、S3の認証が異なるぐらいです。 RESTで認証する3rd party modleのAWS proxy moduleあるのでそれを使います。3rd party moduleなのでgithubから落として組み込まないといけないのがめんどうなのと、設定例でちょっとはまってしまいました。インストールオプションでAWS proxy moduleを組み込みます。ansibleを使った例はこちらです。

wakuworks 2014/07/21

リンク

転送量が多いWebサービスをクラウド上で展開する際のお金の話｜デロイトトーマツウェブサービス株式会社（DWS）公式ブログ

一昨日から突如、左手の甲の外側近辺に謎の痛みが発生し、コードを書くのにも支障をきたして半べそかきながら仕事してる代表の国本です。今回は当社が携わった有料制の音楽配信サービスプロジェクトを題材に、音楽や動画など転送量が多いWebサービスをAWSなどのクラウドで配信する際に気をつける点についてお話しようと思います。といいましても。本エントリーではCloudFrontやElastic Transcoderなどの技術要素ではなく動画や音楽配信にかかる費用にフォーカスをあててお話をします。題材となるプロジェクトの概要法人をターゲットとした有料会員制音楽配信サービス現行アプリがFlashを用いて開発された古いアプリのため、iPadやスマホで利用できないインフラとアプリケーションをリプレースし、iPadやスマートフォン対応を行いたい有料会員数500名〜1000名で24時間のサービス稼働前提

wakuworks 2014/07/20

AWS
S3

リンク

http://www.s3rsync.com/

wakuworks 2014/07/15

AWS
S3

リンク

S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO

おまけ今回調査に使ったシェルスクリプト載せておきます。権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO