[新機能] Kinesis StreamsのデータをKinesis Firehoseへ直接配信できます | DevelopersIO
こんにちは、菊池です。 2017/8/25追記：Kinesis Firehoseの東京リージョンでの提供が開始されました。 本日（日本時間：2017/8/19）の機能アップデートにより、Kinesis Streamsに配信されたデータを直接Kinesis Firehoseで読み取ることができるようになりました。 Amazon Kinesis Firehose can now read data directly from Amazon Kinesis Streams この機能統合により、Kinesis Streamsへ送信したデータを、S3やRedshiftへ簡単に保存しておくことが可能になります。 試してみた Kinesis StreamsにPUTしたデータを、Firehoseを経由してS3に保存してみます。 Kinesis Streamの作成 まずはストリームの作成です。今回はオレゴン
![[新機能] Kinesis StreamsのデータをKinesis Firehoseへ直接配信できます | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0a96d01d2de2e95674919900d6d08c2f0e19390c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F07%2Fkinesis-icon-gray.png){kind=icon}
AWS CLIを使ってS3上でのリダイレクトを設定する
このブログは静的ファイルジェネレータのPelicanで作成したHTMLファイルをAWSのS3にホストしているのですが(過去記事)、今回URLを変更して、それに伴うリダイレクトをコマンドラインから設定しました。 flickr photo shared by ShanMcG213 under a Creative Commons ( BY-SA ) license 記事の年月日をURLからなくすことにしました。特に必要な理由もないし、短い方がいいなと思ったので。 前: http://rn4ru.com/blog/posts/YYYY/bbb/DD/hogehoge/ 後: http://rn4ru.com/blog/posts/hogehoge/ すると問題になるのがリダイレクトです。URLを変更すると以前のURLでリンクされている記事が軒並みNotFoundになってしまい、せっかく見に来てく
現代ITインフラの王道をゆくLinuxパッケージ管理の基本構成 | 外道父の匠
RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした
Set content expires and cache-control metadata for AWS S3 objects with Ruby
This site uses cookies. Find out more about cookies including how to disable them. You can set the HTTP Expires and Cache-control headers for S3 bucket objects with the Ruby SDK for AWS. This will help site performance by enabling browsers to cache content which is not updated frequently such as stylesheets, javascript files and images. This assumes you already have the AWS Ruby SDK installed. req
[S3, CloudFront] アップロード済みファイルのメタ情報を一括で変更する | DevelopersIO
既に S3 アップロードされているファイルの メタ情報 を変更する場合、通常は S3 の Management Console にある Properties で設定でき、設定可能なメタ情報には、 Content-Type, Content-Encoding, Content-Language, Cache-Control, Expires 等があります。 今回は、既に S3 にアップロード済の大量のファイルに対し、一括でメタ情報の変更を行い、 CloudFront のキャッシュを削除するまでの手順をまとめます。 実行環境 以下は ruby 2.1.2p95, Ruby AWS SDK ver2 を使用する前提で説明しています。 手順 今回は my-bucket という名前のバケットの、 mydir/images/... 以下にある、 500件程度のjpegファイル の Cache-Cont
![[S3, CloudFront] アップロード済みファイルのメタ情報を一括で変更する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ae1831085634f040d8ea87c65585c41d4de216bc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_S3.png)
WebブラウザからAmazon S3に直接ファイルをアップロードする | DevelopersIO
WebブラウザからAmazon S3へのクロスドメインアップロード 今回は、Amazon S3のCORSの仕様に準じたクロスドメインアクセス機能を利用して、WebブラウザからS3へ直接ファイルをアップロードするサンプルアプリを作成してみたいと思います。 CORSに関しては別の記事にまとめていますので、そちらを参考にして下さい。 開発環境 今回の開発環境は下記の通りです。アプリケーションサーバはScalatraで作成しました。 OSX 10.8.3 Mountain Lion Google Chrome 25 Scala 2.9.2 sbt 0.12.2 Scalatra 2.2 TypeScript 0.8.3 ソースコードはGitHubで公開しています。 ファイルアップロード処理の流れ サンプルアプリの実装の前に、S3へのアップロードについて必要な知識を押さえておきたいと思います。 ブラ
CakePHP2でAWS S3を操作するプラグインを作りました | Basicinc Enjoy Hacking!
AmazonWebServicesのS3、とても便利ですよね。便利だし、安いし。パフォーマンスは…まぁそこそこ。 最近、AWSのS3を画像ファイルのホスト先として使う機会が多くて、Amazonから提供されているAWS SDK fro PHPを使ってガリガリコードを書いていたんだけど、初期設定が面倒になったのでCakePHPのプラグインとしてまとめました。SDK使っているので、コード量自体は最初からスリムなんだけどね。 ダウンロードはこちらから。 CakePHP2 AWS S3 DataSource 使い方は非常に簡単で、プラグインファイルを設置して、database.phpにAWSのキーなどを設定して、適当なモデルから呼び出すだけです。これを使えばコントローラからファイル操作はもちろん、モデルの中からでも簡単に操作出来ます。 機能はファイルアップロード／削除／移動／コピーだけのシンプル構成
Vagrant + WordPress + Amazon S3でブログをセキュア＆快適に運用する方法 – littlebird
WordPressは手軽にWebサイトが構築できるパワフルなツールですが、昨今その脆弱性を狙った攻撃が多様化しており、保守に関わるコストも増大しています。 そこで本サイトでは、ローカルの仮想環境に構築したWordPressからHTMLファイルを生成し、完全な静的サイトとして安全に公開・運用するフローを導入しました。 仮想環境や、WordPressの静的化というと難しく聞こえるかもしれませんが、便利なツールやプラグインを使えば、比較的簡単に実現することができるので、今回はその方法を紹介します。 注意：このページの解説はMac OS X 10.9.5環境での作業を前提に動作の検証を行っています。 WordPressのセキュリティ対策について 近年、WordPressに対するアタックが増加しており、度々ニュースにもなっていますが、皆さんWordPressのセキュリティ対策はどうされていますか？例
Amazon S3の利用料節約を考えてみる | QK Blog
・・で前回の話の続きをここに書くわけですが。結果を書かなかったのは、本当にこの手順でいいのか？というのが 若干不安だったためです。でも現状これで稼働しており。キャッシュも取れ、パフォーマンスも確保しているので掲載したいと思います。 あくまでも、私のメモ！！レベルです・・で前回の話の続きをここに書くわけですが。結果を書かなかったのは、本当にこの手順でいいのか？というのが 若干不安だったためです。でも現状これで稼働しており。キャッシュも取れ、パフォーマンスも確保しているので掲載したいと思います。 あくまでも、私のメモ！！レベルです 設定は、nginx.conf と default.conf の２種類になります まるっとconfファイルを掲載しましたが、CDNを作る上で重要な部分だけを抜粋します。 /etc/nginx/nginx.conf 設定すべき項目は以下の項目です。こちらは、キャッシュ全
nginxでS3へリバースプロキシ - Tech-Sketch
一般的に利用されるブラウザではJavaScriptによるクロスドメイン制約などセキュリティのための読み込みドメインの制約があります。 そのためクラウド上のファイルなどを利用するときに上記の制約を受けて何らかの対策が必要になる場合があります。 この対策の一つとしてリバースプロキシによって対応する方法があります。 リバースプロキシを立ててすべてを解決するんだ リバースプロキシで解決を試みると言うのは以下の図のような構成にすることです。 このようにリバースプロキシを使うことでユーザのブラウザから見るとすべてのデータが同じドメインからのデータ取得になります。 このような構成にするために次に具体的な設定をしてみます。 リバースプロキシを立てよう リバースプロキシを立てるにはApache、Squidなどの有名なWebサーバやProxyサーバを利用したり、最近ではnode.jsでスクリプトを書いて
NginxでREST認証してS3へリバースプロキシー
こんにちわ。能年玲奈より川口春菜派のとおのぶです。能年さんを画像検索すると剛力さんが現れてちょっとびっくりしました。 blogで利用してる画像はAmazon S3にあるんですが、どこからでも見ることができる状態でした。セキュリティ としてイヤだなと思っていたので、S3へRESTで認証することにしました。認証はNginxで行います。 やろうとしていることはnginxでS3へリバースプロキシ と同じで、S3の認証が異なるぐらいです。 RESTで認証する3rd party modleのAWS proxy moduleあるので それを使います。3rd party moduleなのでgithubから落として組み込まないといけないのがめんどうなのと、設定例で ちょっとはまってしまいました。 インストールオプションでAWS proxy moduleを組み込みます。ansibleを使った例はこちらです。
転送量が多いWebサービスをクラウド上で展開する際のお金の話｜デロイト トーマツ ウェブサービス株式会社（DWS）公式ブログ
一昨日から突如、左手の甲の外側近辺に謎の痛みが発生し、コードを書くのにも支障をきたして半べそかきながら仕事してる代表の国本です。 今回は当社が携わった有料制の音楽配信サービスプロジェクトを題材に、音楽や動画など転送量が多いWebサービスをAWSなどのクラウドで配信する際に気をつける点についてお話しようと思います。 といいましても。本エントリーではCloudFrontやElastic Transcoderなどの技術要素ではなく動画や音楽配信にかかる費用にフォーカスをあててお話をします。 題材となるプロジェクトの概要 法人をターゲットとした有料会員制音楽配信サービス 現行アプリがFlashを用いて開発された古いアプリのため、iPadやスマホで利用できない インフラとアプリケーションをリプレースし、iPadやスマートフォン対応を行いたい 有料会員数500名〜1000名で24時間のサービス稼働前提
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rails Active Storage set folder to store files
TechCrunch
Does Amazon S3 support symlinks?
Database JUNKY
Amazon S3の利用料節約を考えてみる（自作CDNのススメ） | QK Blog
http://www.s3rsync.com/