Amazon AthenaのPartition Projectionを使ったALBのアクセスログ解析環境をTerraformで構築する | Recruit Tech Blog
こんにちは。スタディサプリ ENGLISH SREグループの木村です。 はじめに 障害調査などでALBのアクセスログを解析したいというときが皆あると思います。 私はあります。 今回はAthenaを使ってALBのログを解析する方法と新機能で発表されたPartition Projectionを利用するとどのようなメリットがあるのか説明したいと思います。 ALBのアクセスログ ALBには標準でアクセスログを出力する機能があり、有効化することで自動でS3にアクセスログを保存することができます。 しかし、標準でアクセスログはgz形式で出力されており、通常解析するにはS3からダウンロードをしてきて、その後にgzを解凍してから、別途ツールを使って分析するなどの面倒な作業が発生してしまいます。 また、アクセスログはデータが大量になることも多く、DLして利用する場合でも一度に多くの範囲を分析するのは困難です
CloudFormation vs Terraform in 2022
The most reliable way to automate creating, updating, and deleting your cloud resources is to describe the target state of your infrastructure and use a tool to apply it to the current state of your infrastructure (see Understanding Infrastructure as Code). AWS CloudFormation and Terraform are the most valuable tools to implement Infrastructure as Code on AWS. I have worked with CloudFormation and
TerraformでAWSのIAMユーザのグループポリシーを管理する - Qiita
はじめに 皆さんAWSのIAMの権限管理ってどうしてますか？IAMはAWSを使う以上は避けては通れない機能ですが、すこぶる使い勝手が悪く、悩ましい問題です。人数が少なければ全員Administratorsでもいいんですけど、人数増えてくると全員Administratorsなのもちょっと微妙。かと言って、開発チーム内でIAM権限絞ると、既存の業務から外れた、何か新しいことをしようとすると権限足りないエラーになって、権限ある人にお願いしないと権限変更できないとかなると、開発のスピードが落ちます。あと、権限ある人もIAMポリシーを人のために調べて書くのは苦痛です。できればポリシーは権限が欲しい人に調べて書いてもらいたいところです。 そこで、Terraformを使ってIAMのポリシーを管理すれば、IAMのコンソールでJSONを編集するという苦行から開放され、gitで管理できるようになり、かつ権限を
Terraform管理の取捨選択は運用で状態が変わるかどうかで決めると良い - tehepero note(・ω<)
2016 - 06 - 07 Terraform管理の取捨選択は運用で状態が変わるかどうかで決めると良い 今のプロジェクトではTerraformを使って AWS 上のインフラを構築しているのですが、1年程運用して向いてるケース、そうではないケース等が明確になってきました。 今一度Terraformとは Terraform とは Hashicorp 社のプロダクトで、インフラを管理・構築・破棄をコードベースで行うことができ、まさにInfrastructure as Codeを地で行くような OSS プロダクトです。 AWS だけではなく、その他多くのIaaS/PaaS/ SaaS といったサービスの構成をコードで構築することが可能になります。最近はDockerの管理もサポートしていたり、 GitHub のチームや リポジトリ までもが管理できたりします。 全てが運用に即したものではない Te
Terraform + GitHub + CircleCI + Atlasを利用してAWSの操作を自動化した - Glide Note
TL;DR Terraform + GitHub + CircleCI + Atlas を用いてAWSの操作を自動化した 各ツールの役割は下記のような感じ Terraform => インフラへの変更ツール GitHub => .tfファイルのバージョン管理 CircleCI => CI、Terraformをawsに対して実行 Atlas => インフラの状態を記録するterraform.tfstateの管理 インフラの継続的デリバリー - naoyaのはてなダイアリーにて、言及されていた範囲(Route53の変更、Chefの適用)をAWSの操作全体に拡大した 背景 今までの問題点 AWSの各種操作がブラウザからポチポチ業… 手作業なので誤操作に気づきにくい。事故りやすい インフラの実構成がバージョン管理出来ていない ちなみにRoute53に関してはroadworkerを用いてコードで管理済
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CloudFormationとTerraformの使用感〜2017年7月版〜 - Qiita
GitHub - dtan4/terraforming: Export existing AWS resources to Terraform style (tf, tfstate) / No longer actively maintained