Nginx のDNS 名前解決とS3 やELB へのリバースプロキシ :: by and for engineers
Aug 15, 2015 Nginx をフロントに立てて、バックエンドをごにょごにょするといろいろ捗ると思います。 ただ、バックエンドがAWS のようにAuto Scaling が働く場合、IP アドレスが変わってトラブルになることがあります。 リバースプロキシの設定proxy_pass にURI 指定すると、リクエストを転送処理できます。 必要に応じて proxy_set_header, proxy_hide_header を指定する事で、転送先サーバーにリクエストヘッダーを送信できます。 server { listen 80; server_name example.com; location / { proxy_pass http://proxy.example.com; } } Nginx 内部の名前解決デフォルトの挙動として、Nginx は起動時に名前解決を行いIP アドレスをキ
ぐるなびにあった２億ファイルをAWSにデータ移行しました - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ
【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 注意喚起記事です。一部のS3利用者に影響が出ることなので、是非ご確認、および対象の方はご対応いただければと思います。 具体的に何のことかというと、Amazon S3のAWS署名バーション２の廃止についてです。 弊社suzukiがすでに記事を書いていますが、Amazon S3のAWS署名バーション２が2019年6月24日に廃止されます。これは、より安全にAWSおよびS3を利用できるようにするために署名バージョンの変更が行われるためです。 これによって一部のAWSユーザのS3の利用に影響が出ます。 署名バージョン4専用のS3エンドポイントを古いCLIで試してみた AWSの各サービスのAPIを利用する際、AWSが送信元を特定できるようにリクエストに署名が必要です。現在AWSのAPIで利用されている署名バーションは「２」と「４」の２種類あり、「４」が推奨されてい
常時SSL化に役立つアカマイの機能 - Akamai Japan Blog
コンピューティング あらゆるワークロードに対応した VM により、構築、リリース、スケーリングを迅速に実行
S3で誤ったデータの公開を防ぐパブリックアクセス設定機能が追加されました ｜ DevelopersIO
こんにちは、臼田です。 S3のセキュリティを向上する素晴らしいアップデートが来ました！ほぼすべてのAWSユーザがこの設定を今すぐ有効化すべきだと思います。 S3で新たにパブリックアクセス設定という機能が追加され、誤ってデータを公開してしまうことを防ぐ設定をAWSアカウント全体・バケット毎にできるようになりました。 Amazon S3 Block Public Access – Another Layer of Protection for Your Accounts and Buckets | AWS News Blog この良さを理解するにはこれまでどうなっていたかを知る必要がありますので、そこから順に説明したいと思います。 これまでのS3セキュリティ これまでS3にはアクセス制御に利用する要素が、主に下記の3種類がありました。 ACL(アクセスコントロールリスト) バケットポリシー I
S3でサーバレスなBasic認証を実現する(CloudFront + Lambda@Edgeの活用) - 本日も乙
S3バケットに配置しているオブジェクトファイルに対してBasic認証をかけたい場合があると思います。しかし、S3自体にBasic認証機能は提供されていません。そのため、今まではリバースプロキシとしてEC2を前段に置くことで実現していました。 最近、Lambda@Edgeという機能がGAリリースされました。この機能を使うことで、サーバレスにBasic認証をかけることができるため、その方法について紹介します。 [toc] Lambda@Edge とは CloudFrontのイベントに対してLambda関数を実行できる機能です。Lambda@Edgeが実行できるCloudFrontのイベントは、以下の4つがあります。 CloudFrontがエンドユーザからHTTPリクエストを受信(ビューワーリクエスト) CloudFrontが受け取ったHTTPリクエストをオリジンサーバに転送する前(オリジンリク
【AWS】Amazon S3をFTP/SFTPサーバーのように使ってみた | DevelopersIO
今回の課題 こんにちは植木和樹です。本日のお題は「現在運用しているFTP/SFTPサーバーをAmazon S3でリプレースしたい」です。 外部関係業者とのファイルのやりとりにFTP/SFTPサーバーを使っているケースは数多くあると思います。社内にあまったパソコンにLinuxをインストールしてFTPサーバーを自前で運用していることもあるかもしれません。しかしデータのバックアップやハードウェアの故障などで手を取られている担当者の方がいらっしゃるのではないでしょうか。 そんな時はAmazon S3。99.999999999% の堅牢性と、99.99% の可用性を提供するストレージサービスです。 しかしFTPは長い運用実績の歴史があるサービスです。FTPで求められる様々な運用ニーズにS3はどこまで応えられるでしょうか？今回はその点を検証してみました。 FTPに求められる要望 以下にいくつかの代表的
AWS CLI S3 Configurationを試したら想定以上にaws s3 syncが速くなった話 | DevelopersIO
設定方法は、公式ドキュメントの通りですが、~/.aws/configに直接記載するか、aws configure setコマンドを利用して設定します。 $ cat ~/.aws/config [profile default] s3 = max_concurrent_requests = 20 max_queue_size = 10000 $ aws configure set default.s3.max_concurrent_requests 20 $ aws configure get default.s3.max_concurrent_requests 20 $ aws configure set default.s3.max_queue_size 10000 $ aws configure get default.s3.max_queue_size 10000 AWS CLI S
AWS CLI S3コマンドの並列処理設定 - Qiita
概要 aws s3コマンドの並列転送処理、マルチパートの処理を設定でコントロールできるようになった。 S3コマンドの自動並列処理 AWS CLIでは、aws s3から始まる高レベルのコマンドがあり、S3のオブジェクトの操作が便利になっています。 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html この中では、ワイルドカードを指定する、もしくはsyncコマンドで、複数ファイル処理が行えます。 これらは並列で転送処理が行われるのですが、これ以外にも、アップロードする1つのファイルが大きい場合は、内部的にマルチパートに分割され、Multipart Uploadが行われています。 (--debugで動作を確認できます) 並列処理を行うことで、スループットを向上させることができる、またマルチパートの場合は、それに加えて、単一のフ
AWS CLIを使ってS3上でのリダイレクトを設定する
このブログは静的ファイルジェネレータのPelicanで作成したHTMLファイルをAWSのS3にホストしているのですが(過去記事)、今回URLを変更して、それに伴うリダイレクトをコマンドラインから設定しました。 flickr photo shared by ShanMcG213 under a Creative Commons ( BY-SA ) license 記事の年月日をURLからなくすことにしました。特に必要な理由もないし、短い方がいいなと思ったので。 前: http://rn4ru.com/blog/posts/YYYY/bbb/DD/hogehoge/ 後: http://rn4ru.com/blog/posts/hogehoge/ すると問題になるのがリダイレクトです。URLを変更すると以前のURLでリンクされている記事が軒並みNotFoundになってしまい、せっかく見に来てく
AWS CLIを使ってS3をWeb公開
AWS S3 のドキュメントに S3 の Web ホスト機能を利用したシステム構築例が2つあったので、これらを AWS CLI でコマンドラインから操作するよう移植した。 Example: Setting Up a Static Website Example: Setting Up a Static Website Using a Custom Domain Example: Setting Up a Static Website In the first example you configure a bucket for website hosting, upload a sample index document and test the website using the Amazon S3 website endpoint for the bucket. AWS CLI の s
オンプレ環境からS3へのファイル転送方式についてこれまで試したパターンまとめ | DevelopersIO
西澤です。AWS上にシステムを移行する上で、毎度のようにご相談を受けるのが、S3へのファイル転送をどうするか？という問題です。ビッグデータの元となる大量のファイル、RDBのダンプファイル、その他のバックアップファイル等を含め、安価で堅牢なS3にまずはデータを格納し、そこから自由に利用したいというユーザの希望を実現する為に、まずは何よりもS3にファイルを持っていかなければなりません。 今回は、過去のブログも遡りつつ、これまで試してみた各種転送方式をご紹介し、それぞれのユースケースを整理しておこうと思います。また、この記事は書きっぱなしにするのではなく、今後必要に応じてメンテナンスもすることで、再利用できるような記事に育てていきたいなと思っています（執筆時点での意気込みであり、何かを保証するものではありません）。 前提 Amazon Kinesis Streamsを利用するようなリアルタイム処
S3 Transfer AccelerationをAWS CLIを使って試してみた | DevelopersIO
西澤です。S3 Transfer Accelerationの利用を検討する為、みんな大好きAWS CLIから試してみたのでご紹介したいと思います。 S3 Transfer Accelerationとは？ S3 Transfer Accelerationとは、海外リージョン等の送信元から遠く離れたS3へのデータ転送を、AWSのエッジロケーションとネットワークプロトコルの最適化を利用して高速化するサービスです。詳細については、下記の「よくある質問」がわかりやすいかと思います。 よくある質問 - Amazon S3 Transfer Acceleration S3 Transfer Accelerationを有効にする S3 Transfer Accelerationは、バケット単位で有効にすることができます。設定そのものでは課金は発生しませんが、GBアップロードあたり$0.04が課金対象となり
ファイルサーバーバックアップの事例 - 株式会社サーバーワークス
創業70周年。スペシャリティーケミカルを手掛ける、ニッコールグループ日光ケミカルズ株式会社（以下、日光 ケミカルズ）では、中国・上海の現地拠点で利用しているファイルサーバーのデータをAmazon S3でバックアップする環境を構築した。日光ケミカルズ 総務部 ICTグループ 東原 雄一氏に、その経緯について詳しく聞きました。 1946年創業。化粧品原料の販売を皮切りに、医薬品、食品、一般工業向けに高品質な界面活性剤などを開発、製造、販売、お客様の製品開発サポート、処方開発、素材や最終製品の有効性・安全性評価、ネイルエナメルの受託製造など、幅広いサービスをグループ内で展開する日光ケミカルズ。コロイド化学を基本に、表面科学、コスメトロジー、皮膚科学、分子生物学、バイオテクノロジーなど、常に最新の技術を取り入れ、研究開発を続けながら技術基盤を拡大。ニッコールグループとして、国内のみならず上海やシン
Amazon S3 Transfer Acceleration を使用した高速かつ安全なファイル転送の設定 - Amazon Simple Storage Service
Amazon S3 Transfer Acceleration は、クライアントと S3 バケットの間で長距離にわたるファイル転送を高速、簡単、安全に行えるようにするバケットレベルの機能です。Transfer Acceleration は、世界各地から S3 バケットへの転送速度を最適化するように設計されています。Transfer Acceleration は、Amazon CloudFront の世界中に点在するエッジロケーションを利用します。エッジロケーションに到着したデータは、最適化されたネットワークパスで Amazon S3 にルーティングされます。 Transfer Acceleration を使用する場合、追加のデータ転送料金が発生することがあります。料金に関する詳細については、「Amazon S3 の料金」を参照してください。 なぜ Transfer acceleration
S3バケットへのアクセスを特定のIPとVPCに制限する | DevelopersIO
はじめに オンプレミスにあるデータをAWS上で分析する場合、いったんオンプレからS3にデータをアップロードし、そのデータをAWS上のEC2等で参照/分析するのはよくあるパターンです。 その際、オンプレミスのサーバにはS3の操作権限をもったIAMユーザのアクセスキーを設置することになりますが、万が一アクセスキーが漏えいすると第三者に重要な情報を盗まれたり改変されたりする恐れがあります。 そのような事態を避けるために、S3バケットには必要なリソース以外からのアクセスを遮断するような制限をかけることをお勧めします。 具体的には下記からのアクセス以外は遮断した方が安全です。 オンプレミスのサーバのIPアドレス 分析環境が構築されているAWS VPC S3バケットの管理を行う拠点(AWSマネジメントコンソールを利用する場所)のIPアドレス S3バケットへのアクセス制御の方法はいくつかありますが、今回
fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件
ログのバックアップをfluentd経由でs3に転送するようにしたのですが、time_slice_format %Y%m%dにしてても、一日に複数ファイルが生成されていました。 こんな感じ 原因がよく分からなかったのでtwitterでつぶやいてみたら、@frsyukiが返答してくださいました！ twitterでのやり取りはこちらにまとめました。 fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件解決策↓のように、buffer_chunk_limitを大きい値で設定すればOKでした。 原因原因は、buffer pluginで指定される、buffer_chunk_limitがデフォルトの8M(2012/11/27現在)だったためです。 chunkは一時的なデータの格納場所で、fluent-plugin-s3ではbuffe
DPW - S3ホスティングサイトにNginx proxyかます際の注意点
S3で静的サイトをホスティングしている方は多いかと思います。 が、それに対して、NginxのProxyを間にかましている方は少ないかと思います。 今回、その設定でつまったので備忘録として残したいと思います。 こんな感じで、特定のlocationをS3にProxyすることを想定します。 ・ブラウザ上のURL http://example.com/s3bucket/index.html ・実際のURL http://s3bucket-name.example.com/index.html ※s3-bucket-name.example.comは、S3ホスティング設定したドメイン 当初、nginx.confを以下のようにしていました。
画像配信にS3(同一ドメインの別FQDN)を使いたい場合のDNS設定方法 - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 S3に画像ファイルなどを上げてWebsite HostingをONにするだけだと、URLの構造が以下のような感じになります。 ｈｔｔｐｓ://s3-ap-northeast-1.amazonaws.com/img.foobar.com/test.jpg 既存のサーバーから画像ファイルの配信元をS3に移行しようとした場合に、上記のようなURLに書き換えるようにプラグインなどで設定してあげる必要がありますが、どうせならもうちょっと格好いい感じにしたい。 ということで以下のようにしたい。 HTMLは既存のサーバーのfoobar.comから配信する。 foobar.comのDNSは既存のDNSを使っている 画像ファイルをS3からimg.foobar.comという既存サーバーのサブドメインで配信したい こんな場合、ど
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd