Terraformで行うAmazon CloudWatch LogsからS3へのログ転送 - Adwaysエンジニアブログ
2ヶ月ぶりでお久しぶりでもないです インフラの戸田です。 最近はモンスターハンターワールド：アイスボーンをずっとやっております。 いろんなモンスターが増えて楽しいですね～～ モンハンしかしていない生活になってしまいました。 では、本題にいきます。 CloudWatch Logsに保存されているログをS3に移動させて、料金を削減したいという声がありました。 移動させるためには、いくつか手段がありますが、今回はKinesis Data Firehose を使い、ログ転送をする方法をTerraformでコード化しつつ、実現することになりました。 経緯 料金について CloudWatch LogsからS3にログを置く方法 Terraform 今回Terraformでやること Terraformで作るもの ファイル構成 workspaceの機能について Teffaromファイル群 実行手順 今回te
S3でページ単位でリダイレクト設定する | ランサーズ（Lancers）エンジニアブログ
こんにちは、エンジニアのshinです。 最近使ったAWSの機能が便利だと思ったので紹介します。 ランサーズでは、Amazon S3の静的ウェブサイトホスティングの仕組みを使ってコンテンツを公開しています。 まずこれが便利で、静的ページをカンタンに公開できるというメリットがあります。 一方で、便利がゆえにとりあえずアップして、 その後不要になったコンテンツが残り続けてしまうというデメリットも出てきました。 今回、lancers.jpのトップページリニューアルのタイミングで情報設計の見直しを行い、 ある静的ページのURLを変更したいという要望が出てきました。 旧URLへの導線は全て変更したものの、送信済みメールからのアクセスなど 網羅性を担保するためにはリダイレクト設定する必要があります。 これまでは、静的ページにリダイレクト設定したい場合、meta refreshやJavaScriptを使う
[ストレスレスへ]S3操作の効率化を図るため、goofysでのマウント・アンマウント手続きを抑えてみた | DevelopersIO
はじめに S3上の圧縮ファイルをダウンロードして数行を取得する、といった作業は繰り返すとそれなりの時間と手間が掛かります。 S3バケットをローカル環境にマウントすることによってアクセスに掛かる時間を短縮して作業を軽快にしつつ、見落としがちなアンマウント操作もまとめてみました。 導入 作業の繰り返しが快適になるように性能を求めたいため、マウントにはgoofysを利用します。 go get github.com/kahing/goofys go install github.com/kahing/goofys s3fsよりも高速に使えるgoofysを試してみた S3の指定バケットをマウントする 指定するバケット名は必ず利用するAWSアカウントがアクセスできるバケットであることを確認しておきます。環境設定をしていない場合はdefaultプロファイルが適用されるため、必要に応じてAWS_PROFI
![[ストレスレスへ]S3操作の効率化を図るため、goofysでのマウント・アンマウント手続きを抑えてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/55e5ee85a70b0b6893eeca79750f0d06a94b8595/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-s3.png)
SPAを S3+CloudFront で表示する方法 - Carpe Diem
概要 AngularなどのSPAをS3+CloudFrontで表示する方法についてです。 要件 SSL/TLSを使いたい https://example.com/hoge のようなサブディレクトリのようなパスで403にならないようにしたい ↑のようなパスでもOGPがきちんと表示される リロードしても404にならない S3バケットのファイルには直接アクセスできないようにしたい 以前のケースとの比較 過去に S3 + CloudFrontにした時にハマったこと - Carpe Diem Angularで作ったサイトでリロードすると404エラー - Carpe Diem で似たようなケースに対応しました。しかしこれらは先の要件である 3. ↑のようなパスでもOGPがきちんと表示される や 5. S3バケットのファイルには直接アクセスできないようにしたい を満たせていませんでした。今回はそちらを考
[CloudFront + S3]特定バケットに特定ディストリビューションのみからアクセスできるよう設定する | DevelopersIO
皆さんこんにちは、yokatsukiです。 静的コンテンツの配信性能を高めるために、S3とCloudFrontを組み合わせて、CloudFrontからコンテンツを配信する形態は、Cache Distributionパターンとしてよく知られています。しかし、設定がよく理解できていないために、CroudFront以外に、S3コンテンツへ直接アクセスできるようになっていませんか？しかし具体的な設定方法をネットで調べても、(2014年9月初めの時点では)署名付きURL等のやや複雑な説明ばかりで、「配信できているからいいや」と設定をおざなりにしている方、多いと思います。 今回は、S3バケット上のコンテンツを、特に署名や期限等の複雑な設定を設けず、シンプルにCloudFrontのみからアクセスできるように設定する方法を紹介します。上記Cache Distributionパターンのシンプルな一例と考えて
![[CloudFront + S3]特定バケットに特定ディストリビューションのみからアクセスできるよう設定する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/05bf92c3dad6e282bf2cded7bb4b61f42547e50e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_CloudFront.png)
Amazon S3 Tools: S3 Sync - How To Sync Files to Amazon S3
Amazon S3 Tools: Command Line S3 Client Software and S3 Backup AWS S3 Command Line Clients for Windows, Linux, Mac. Backup to S3, upload, retrieve, query data on Amazon S3. Program S3cmd can transfer files to and from Amazon S3 in two basic modes: Unconditional transfer — all matching files are uploaded to S3 (put operation) or downloaded back from S3 (get operation). This is similar to a standard
Athenaを使ってS3のログを検索できるようにし運用コストを改善する - Qiita
Intro こんにちは。 サービスを運営していく中でサービス障害時，ユーザーの行動分析をしたい時などにログはとても効果を発揮します。一方で構造化されていないログや,気軽に確認出来る環境がない場合,苦行が始まります。 担当したプロジェクトで,S3に溜め込んだアクセスログやアプリログを気軽に確認できるようにAthenaを利用する機会があったため, その時の知見をまとめておきます。参考になるかは分からないけど。 今回は, nginxのアクセスログを題材に紹介しています。 Athenaとは Athena は, AWSのサービスの一つで, S3のデータをクエリを用いて検索をすることができます。 サーバーレスなため, インフラストラクチャーの構築など不要なので簡単に始められます。 BIGQueryと同じで, 固定費ではなくスキャンしたデータ量によって従量課金されます。 Athenaを使えば人類はどう幸
S3でオブジェクトをリージョン間転送する – OpenGroove
表題の件は、ただ単純に、S3バケット上のデータを別リージョンのバケットに転送したいだけなのだ。しかしググると何故かスナップショット転送の記事がトップ位置に出てきてしまうので、自分のところに書いておく。 方法としては「フツーにコピーする」と、「クロスリージョンレプリケーションを利用する」の2択。 1. [aws s3 cp]でフツーにコピーする場合 バケットの作成時に所属するリージョンが決定されているので、コピー実行時にリージョンを指定する必要はない。 $ aws s3 cp s3://tokyo-example-bucket/mytest.txt s3://singapore-example-bucket/ バケットのリージョン（ロケーション）を確認する $ aws s3api get-bucket-location --bucket singapore-example-bucket --
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Single-Page Apps on AWS, Part 1: Hosting a Website on S3