nginxでS3へリバースプロキシ - Tech-Sketch
一般的に利用されるブラウザではJavaScriptによるクロスドメイン制約などセキュリティのための読み込みドメインの制約があります。 そのためクラウド上のファイルなどを利用するときに上記の制約を受けて何らかの対策が必要になる場合があります。 この対策の一つとしてリバースプロキシによって対応する方法があります。 リバースプロキシを立ててすべてを解決するんだ リバースプロキシで解決を試みると言うのは以下の図のような構成にすることです。 このようにリバースプロキシを使うことでユーザのブラウザから見るとすべてのデータが同じドメインからのデータ取得になります。 このような構成にするために次に具体的な設定をしてみます。 リバースプロキシを立てよう リバースプロキシを立てるにはApache、Squidなどの有名なWebサーバやProxyサーバを利用したり、最近ではnode.jsでスクリプトを書いて
Amazon S3の利用料節約を考えてみる | QK
・・で前回の話の続きをここに書くわけですが。結果を書かなかったのは、本当にこの手順でいいのか？というのが 若干不安だったためです。でも現状これで稼働しており。キャッシュも取れ、パフォーマンスも確保しているので掲載したいと思います。 あくまでも、私のメモ！！レベルです 設定は、nginx.conf と default.conf の２種類になります まるっとconfファイルを掲載しましたが、CDNを作る上で重要な部分だけを抜粋します。 /etc/nginx/nginx.conf 設定すべき項目は以下の項目です。こちらは、キャッシュ全般の設定を行っております proxy_cache_path /var/cache/nginx/cache levels=1:2 keys_zone=my-key-zone:64m max_size=180000m inactive=4d; level # level
CloudFront + nginx(http_image_filter_module) + S3 を使って画像変換サーバを構築する - 本日も乙
珍しく(初めて?)AWSネタです。 仕事でAWSのVPCを構築しているのですが、画像を取り扱うサーバが欲しいとの要望がありました。 画像を表示するだけならCloudFront+S3だけで強力な画像(CDN)サーバを構築することができるのですが、今回は画像サイズもリアルタイムで変換して表示してほしいとのことでした。 幸いにも社内で以前、nginxのhttp_image_filter_moduleを使って画像変換している実例(実サーバ)があるのでそれを参考に構築してみました。 構成図 簡単な図です。 今回やりたかったこと ユーザが独自ドメインとマッピングされたCloudFrontにアクセスすると、CloudFrontに画像がキャッシュされていればその画像を返します もし画像がキャッシュされていなければELB・EC2インスタンス経由でS3にある画像を取得します EC2インスタンスにhttp_im
s3-backed docker private registry on AWS by Tim Sabat on CodePen
You use Docker, but you're not open-source, so putting your containers on the docker registry is not a bright idea. If you want to host your own private registry like we did, follow these instructions. Bucket With this setup, you'll be storing all of your images in S3, so you'll need to create a bucket. Name it something cool, like screaming-eagle, or more appropriately, your-org-docker-registry.
AWSを活用して全国ネット番組(NHK)によるアクセス急増を乗り切った具体的手法 | Cerevo TechBlog
まつけんです。 前回のWBSでの紹介に引き続き、今回はNHK「サキどり」にCerevoを紹介いただける機会に恵まれました。というわけで、前回同様に急激なアクセス増が放送日に集中することが予想されるので、いくつかの負荷対策をして乗り切りました、という話の第二弾になります。 今回はある程度の対策する時間があったため、前回の構成よりも急場しのぎでない対策をせっかくなのでやりました。そういった表示の高速化も含めたいくつかのテクニックを紹介したいと思います。 ちなみに、結果だけを先に書きますと、この対策をしている状態であれば、m1.small x 2台(ELBの配下に居ます。)がカスタムオリジンとして存在しているだけで、まったく問題なく放映時のアクセスをCloudFrontが捌いてくれました。（CloudFrontのキャッシュ時間が適切であれば、オリジンの性能があまり関係ないのは当然ですが。） 今回
Amazon Glacierの料金計算法について - 週報夏風邪記
AWSとは AWSとはAmazon Web Servicesの略で、あのAmazon.comが提供しているウェブサービスのこと。 ただ、amazon.jpのアカウントは使えず、amazon.comのアカウントが必要。 その中のサービスの一つglacierについて紹介していく。 glacierとは Amazon Glacier は、アクセス頻度の低いデータや、取り出しに数時間かかっても問題ないデータに合わせて最適化されている。 主な用途は起業のデータアーカイブ、バックアップなどなど,,,普段はアクセスしないファイルなどの保管に適したサービスだ。 1ヶ月あたり0.01USD/GBという低額で、しかも耐久性はS3と同じ99.999999999％。 データが消える心配は殆ど無いだろう。 復元料金について AWSの中で一番料金体制が厄介なGlacier。 AWS S3に関するよくある質問 http:
S3のbucketを別のbucketにsyncしてバックアップする - Qiita
万が一bucketをヒューマンエラーなどで消失してしまった場合のために bucketを別のbucketにコピーする方法を確認した。 バックアップ用のbucketはLifecycleを0dayにして Glacierに保存しておくようにすれば良いかと思う。 S3 にファイルをアップロード $ aws s3 cp --acl private --sse file-one.txt s3://kenjiskywalker-one/foo/ upload: ./file-one.txt to s3://kenjiskywalker-one/foo/file-one.txt $ $ aws s3 sync --dryrun s3://kenjiskywalker-one/foo/ s3://kenjiskywalker-two/foo/ (dryrun) copy: s3://kenjiskywalke
AWSでコスト計算する時はData Transfer Out Byteが重要です - 日報 #118 - 俺の報告
お金の話です。 AWSの。 一般的なアプリのサービスの場合、 サーバサイドのメインコストは下記の3つです。 RDS固定費 EC2固定費 S3固定費 転送料金 使っていれば大物コストになりうるのはRedshiftやDynamo、CloudSearchあたりだと思いますが、 まぁ一旦ここは置いておきましょう。 特にRoomClipのような画像中心のサイトの場合は、 転送料金がバケモノ化していくので要注意でございます。 よくAWSの料金体系は複雑と言われます。 確かにそうなのですが、 複雑化している最大の要因は転送料金にあるんじゃないでしょうか。 もっと突っ込んで言えば、「S3の転送量が把握できない」ということが大きいのではないでしょうか？ 今日はその辺について、僕が荒く把握するときの計算方法を記載してみます。 転送料金以外について、まず整理してみます。 これは実はとてもシンプルで、 RDSもE
Amazon S3とnanocで作る 安い・落ちないwebサイト
2012年5月12日に青山ブックセンター本店で開催された欧文書体セミナーTypeTalks第10回「もっと知りたい！Webフォント」のスライドです。 ・・・ 【追記1】スライド10の「Arialは何と呼ぶ？」は、日本においてArialは色々な呼び方が流通しているという蛇足話で、正しい読み方を追求する意図はありません。統計データは当ブログのFacebookページで皆さんに行ったアンケート結果です。スライドのペラ1画像がひとり歩きしてしまっているため、この場で補足いたします。 【追記2】スライド62の「OpenTypeフォント機能に対応するブラウザ」は、現在Chromeも対応しています。 ・・・ 1. Webフォントとは？ 1-1. Webで使えるフォント 1-2. Webフォントサービス 1-3. 利用者にとってのメリット 1-4. 制作者にとってのメリット 2. Webフォントの今 2-1
Amazon S3のGlacierアーカイブ機能を活用する | DevelopersIO
よく訓練されたアップル信者、都元です。話題は攫えないと分かりつつも、また小ネタいきます。 数ヶ月前のネタですが、Amazon S3において「自動的にGlacierにアーカイブする」という機能がリリースとなりました。Glacier単体では正直利用しづらかったものが、S3を介してGlacierを使えるようになったことで非常に使いやすいものになりました。とは言え、実際にこの機能を使った事がないと、使いどころのイメージも付けづらいと思います。 S3とGlacierのデータ保存コスト 実は、筆者は個人的に、このS3とGlacierの連携機能を利用しています。自宅で利用しているNAS QNAP TS-219P II には、ファイルを1日1回自動的にS3にアップロードしてバックアップを取る機能があります。この機能を利用して、家族の写真等、消えたら精神的打撃が大きなデータを 99.999999999%（イ
Middlemanで作ったサイトをS3でホスティング | ぼくのインターネッツ
Tumblr1人でカフェにいるとき、近くにイケメソがいたりすると アヒル口でななめ上を見たりして自分史上最高に可愛い顔で物思いにふけってる感を演出してみるが、やはり全く見ていない。 しかし、その状態を都合よく 『人知れず咲く花』と呼ぶことにしている 眞鍋かをりのツイッタークソワロタｗｗｗｗｗ：アンダーワールド (via fyfyfy)10/27/13これはもう本当に何度言っても言い足りないくらいなんだけど、落ち込んだりしちゃってる時はまずは体調的な原因を疑うのがいい。腹減ってるとか飲み過ぎとか。原因がわかったら、チョコでも食べながら好きな音楽聴いたりクスッと笑える何かを観たりして嵐が過ぎ去るのを安全な場所で待っていればいい。@fta7’s (F太) most faved tweets (via raitu) 2011-02-13 (via gkojax-text)10/27/13 Cate
Amazon S3でWebサイトを運営するためのスクリプト·s3_website MOONGIFT
s3_websiteはRuby製、MIT Licenseのオープンソース・ソフトウェアです。 Webサイトを管理する場合はどこにホスティングするのが良いでしょう。もし静的なサイトであれば意外と良い選択肢になりそうなのがAmazon S3です。そこで使ってみたいのがs3_websiteです。 インストールはRubygemsで簡単にできます。ついで設定ファイルを作成します。s3_website cfg createを実行すれば設定ファイルが生成されます。 ファイルを作成したら、s3_website pushを実行します。これでファイルがアップロードされました。 無事アップロードされています。 s3_websiteではpublic/outputフォルダ以下にあるファイルを自動アップロードしてくれます。つまりフォルダ階層を分けておくことでMarkdownで書いてコマンド一つでHTMLに変換し、その
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
CORS(Cross-Origin Resource Sharing)によるクロスドメイン通信の傾向と対策 | DevelopersIO
CORS(Cross-Origin Resource Sharing)って何？ CORS(Cross-Origin Resource Sharing)は、その名の通り、ブラウザがオリジン(HTMLを読み込んだサーバのこと)以外のサーバからデータを取得する仕組みです。各社のブラウザには、クロスドメイン通信を拒否する仕組みが実装されています。これは、クロスサイトスクリプティングを防止するためです。Aというサイトに訪問したのに、Bというサイトに向けて個人情報を送っていたというのは困りますよね。例えば、オリジンから読み込んだHTML内のJavaScriptでJSONデータを読み込むとしましょう。JSONデータが同じサーバにあれば普通に読み込めますが、別のサーバにある場合は読み込めません。まぁ実際のところはJSONPという仕組みを使ってできちゃったりしますが、抜け道的なやり方で使われていました。CO
AWS News Blog
AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin
Django のファイルアップロード先を S3 にしましょう - ナントカカントカ
とりあえず boto と django-storages をインストールしておけば特にすることはないはずです。 pip install boto django-storages settings で デフォルトストレージと AWS の各設定を書いておきましょう。 # django-storages DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage' AWS_ACCESS_KEY_ID = '' AWS_SECRET_ACCESS_KEY = '' AWS_STORAGE_BUCKET_NAME = '' あとは model を定義するところはこれまで通り書いてやれば大丈夫です。 class Photo(models.Model): user = models.ForeignKey(User, db_index=Tr
dJango-storages で、S3に画像ファイルを保存 - あったらしくるえるはてなくしょん
python の django を Amazon ec2 で複数台構成とってるときに画像のupload を考えると... - くるえるはてなくしょん ちょっと空いてしまいましたが、続きです。 Amazon の AWS のサービス群のなかで、EC2もすごいところはあるんですけど、S3 のほうがすごいかな..と最近は思っています。 それで、例えばWebサービスでupload されたものを S3 に保存しておくと、サーバを複数台にして分散させた時でも、共有できるのでちょっと楽だったりします。 それで、前回のエントリで、 id:nullpobug 2010/04/09 01:30 rsyncなどで動機するのでも良いと思います。 DjangoのStorageAPIを使ってS3にアップロードするようにする方法もあります。 http://code.welldev.org/django-storages/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Saving money by putting a web cache in front of Amazon S3 -- Code Monkey Island
[Nginx] Nginx で S3 をリバースプロキシする![[Nginx] Nginx で S3 をリバースプロキシする](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d71ff5111e05619a10d29bb40d7aebaa75c8fbc/height=288;version=1;width=512/https%3A%2F%2Fs0.wp.com%2Fi%2Fblank.jpg)
davidburgosonline.com