最近関わっているプロジェクトでは、大きなアプリケーションのリアーキテクチャを行っています。 そこではフルスクラッチでインフラの構成を書き直す機会がありました。 そのプロジェクトは社内では比較的複雑な構成になっていて、リアーキテクチャにあたっては、アプリケーション特有の事情により、考慮すべきポイントや難度が高いところがたくさんありました。 具体的には、複数のマイクロサービス間の協調性や独立性とそれに付随する認証/認可、クライアント証明書(mTLS認証)の管理、歴史的経緯による複雑性を正すためのawsアカウント移行などなど。 それらは別の機会で語る(or 同僚の誰かが語ってくれることに期待したい)として、この記事ではインフラをフルスクラッチで書き直すにあたって選択したCDKTFについて、紆余曲折を経つつも最終的に採用したディレクトリ構成について書きたいと思います。 タイトルには「ベストな」とあ
『家族アルバム みてね』（以下、みてね）では、サービス開始当初よりAWS OpsWorksをオーケストレーションツールとして利用してきました。 しかし、サービスや組織の拡大に伴い、AWS OpsWorksによる運用上の課題が生じてきました。そこで、2018年ごろにAWS OpsWorksからAmazon EKSに移行するという意思決定を行いました。 その後、たくさんの試行錯誤や紆余曲折、回り道を経て、2021年にAmazon EKSへの移行が完了しました。 この記事では、4年近くに渡ったEKS移行の取り組みを時系列を追って紹介していきます。 その過程には、後に取りやめることになった設計や意思決定も多く含まれています。 記事の最後でEKS移行プロジェクトを振り返り、そこから得た学びをまとめます。 図 『家族アルバム みてね』のEKS移行のタイムライン AWS OpsWorksの課題とEKS
New RelicのSLOモニタリング+バーンレートアラートをCDK for Terraform(cdktf)でIaC管理する - Uzabase for Engineers
こんにちは、ソーシャル経済メディア「NewsPicks」でSREをしている飯野です。 今回はSREで行ったNew RelicをCDK for TerraformでIaC管理する話を紹介したいと思います。 SLOモニタリングをSREチームだけで行うのは難しい CDK for Terraformとcdktf-newrelic-provider 追記 IaCで作成する内容 CDK for Terraformで実装していく -1. cdktf init 0. @cdktf/newrelic-provicerの初期化 1.DataNewrelicEntityの作成 2.ServiceLevelの作成 3.AlertPolicyの作成 4.AlertCondition（バーンレートアラート）の作成 5. NotificationDestinationの作成 6. NotificationChannel
Terraformのmovedブロックやimportブロック、removedブロックは便利です。しかし、applyした後に削除するのが面倒です。面倒といっても何か制約がある訳ではなく、単に削除するPRを出すのが面倒という話です。そこまで頻繁にこれらのブロックを使うわけではないのですが、削除を楽にするために https://github.com/takaishi/tfclean というツールを作りました。 例えば、以下のようなtfファイルがあるとします。aws_security_groupリソースが1つと、movedブロックとimportブロック、removedブロックがあるファイルです。 resource "aws_security_group" "example" { name = "example-security-group" description = "Example secur
『Terraform と gcloud CLI を使用した完璧な Google Cloud インフラストラクチャの構築』は本当に完璧なのかやってみた - Commune Engineer Blog
はじめに コミューンのインフラにおける課題 使ってみた 既存のGCPのリソースをTerraform形式でエクスポートする main.tfを作成する 既存のGCPリソースをインポートする terraform planで実行計画を見る 1. google_compute_route 2. google_compute_ssl_certificate 3. google_storage_bucket 4. google_logging_log_sink 検証結果 感想 良い点 GA版に期待すること さいごに エンジニア募集中！ 注釈 注1 注2 はじめに SREチームの川岡です。 もうそろそろコミューンのインフラをコード化しなきゃと考えていたときに、Google Cloudのブログで『Terraform と gcloud CLI を使用した完璧な Google Cloud インフラストラクチャの
Terraform Modules で再利用できるので最高ではないでしょうか？ - じゃあ、おうちで学べる
概要 ModuleはTerraformの複数のリソースをまとめて再利用可能な単位として扱うことができます。Moduleを使うことで複雑なリソース構成を抽象化し、システムの構造の把握やリソース構成の再利用が可能になり、読みやすさや可読性が向上し、修正箇所が単一になるなどのメリットがあります。 ただし、理解には初期コストが必要です。Moduleの設計では、1つの機能を持つように小さくシンプルに保つことが重要で、それが難しい場合は大抵複雑と言えます。 また、公式のModuleを利用することで、自身で定義やドキュメントの整備、メンテナンスの手間を省きつつ、プロジェクトを超えて共通認識として扱えるため、Module理解のコストが減ります。 しかし、どのタイミングでModuleに組み込むかの正解は、個々のプロジェクトの特性や開発チームの状況により大いに変わるでしょう。 絶えず試行錯誤を繰り返しながら個
. ├── backend.conf ├── main.tf ├── registry.tf ├── terraform.tfvars └── variables.tf main.tfでは、terraformのバージョン指定とサービスアカウントのroleの指定が定義されています。repo_nameは権限を与えるgithubリポジトリなので、この段階で連携するリポジトリを決めておく必要があります。 terraform { required_version = "~> 1.1.9" backend "gcs" { prefix = "terraform/state" } } locals { cloudrun_roles = [ "roles/run.developer", "roles/iam.serviceAccountUser" ] } resource "google_project_
この記事は terraform Advent Calendar 2024 の 9 日目の記事です。 Terraform だけでアプリケーションのバックエンド・フロントエンド・インフラをつくったので紹介します。 つくったもの 利用技術 バックエンド フロントエンド インフラ Full-Stack Terraform まとめ つくったもの 画像を表示するだけのサンプルアプリケーションです。 Gallery リポジトリはこちら。 使用言語 利用技術 バックエンド バックエンドの実装には次世代のモダン AltJS である JS.tf を使用しています。 JS.tf を使うと HCL で JavaScript プログラムを記述することができます。 data "js_function_call" "hello_world" { caller = "console" function = "log" a
AWS CDKとTerraformをn個の観点で徹底比較/compare-aws-cdk-and-terraform-from-n-perspectives
JTF2021 の発表資料です
こんにちは、開発 Restaurant Service Dev Unit の寺澤(@locol23)です。 普段は React や Node.js による開発を主としており、パフォーマンス改善や、公開準備中の eslint-config-gurunavi のルール策定やライブラリ化を行っています。今回、Fastly CDN を導入しましたので、その経緯などを書かせて頂きます。 TL;DR 長期開発されているプロダクトのため、課題がいくつかあり、それらを解決するために Fastly CDN を導入しました Terraform を使用し、Infrastructure as Code を実現しました 導入した結果、ストラングラーパターンで改善ができるようになりました Fastly とは CDN や画像の最適化（Image Optimizer）、次世代 WAF などを提供しているサービスになります
Snyk IaC + reviewdog + aquaではじめるDevSecOps - Gunosy Tech Blog
はじめに Snyk IaCとは CIでのIaC解析 aquaでSnyk CLIを簡単にインストール＆バージョン管理 reviewdogでコメント形式の指摘を実現 まとめ はじめに こんにちは。技術戦略室SREチームのkoizumiです。 最近は、katoさんからオススメいただいた「スクワットの深さは人間性の深さ」という本を読み、日々スクワットに励んでいます（大嘘）。 さて、こちらの記事は Gunosy Advent Calendar 2022 の9日目になります。 昨日の記事はGunosy Tech Lab 石川さんの「リモートモブプログラミング開発の実践」でした。 本日は「Snyk IaC + reviewdog + aquaではじめるDevSecOps」と題して、CIへSnyk IaCを導入した事例についてご紹介します。 先日、私が執筆したこちらの記事でも、「Shift-Leftによる
Repro では AWS 等のリソース管理に Terraform を活用しています。 この度 Terraform で管理しているコードの CI を Atlantis に移行したので、その経緯などについて書きます。 背景 Repro では以下のリソースを Terraform を使ってコード化して GitHub で管理しています。 AWS で構築したインフラ DataDog のモニターやアラート Google Cloud Platform で利用している一部のリソース GitHub の reproio organization のメンバーやチーム Kafka Topic MySQL アカウント PagerDuty の通知まわりの設定 Rollbar の通知 移行前は CircleCI や AWS CodeBuild を活用して独自に CI を構築していました。 課題 初期から CicleCI
Google Cloud のマネージド Terraform、 Infrastructure Manager 登場！
Google Cloud のマネージド Terraform、 Infrastructure Manager 登場！ こんにちは。クラウドエースの阿部です。 今回はひっそりと一般提供されていた Infrastructure Manager について紹介したいと思います。 Infrastructure Manager とは Infrastructure Manager (以降、Infra Manager と表記) は、 Google Cloud におけるリソースのデプロイや管理を IaC で自動化するためのマネージドサービスです。 内部では Terraform と Cloud Build を使用してリソースの管理を行っています。 Infra Manager の特徴 特徴としては以下の通りです。 GitHub 等と連携した CD (継続的デリバリ) の構築を簡単に実装できます。Cloud Bui
150超のAWSマルチアカウント環境における「AWS SSO」の設定をTerraform管理に移行した話 - Money Forward Developers Blog
こんにちは。マネーフォワードのgotoken（@kennygt51）です。 突然ですが、マルチアカウントAWS環境の管理業務をおこなっている皆さん、AWS SSOやってますか？？ 当社のAWS環境の改善活動に取り組む中で、AWS SSOの便利さにすっかり虜になってしまいました。 今回の記事では僕が業務で取り組んだ『150超のAWSマルチアカウント環境における「AWS SSO」の設定をTerraform管理に移行した話』について紹介します AWSアカウントへのアクセスコントロールの歴史 AWS SSOやTerraform管理の話をする前に、当社のAWSアカウントへのアクセスコントロールの歴史を紐解いてみましょう。 はじめてのAWS SSO 2020年の初め頃、当社のAWS環境にAWS SSOがはじめて導入されました。それ以前は、踏み台用のAWSアカウントにのみIAMユーザを作成し、アクセスし
メルペイSREチームの @tjunです。この記事は、Merpay Tech Openness Month 2020 の19日目の記事です。 今日は、メルペイSREチームのオペレーションのために開発して利用している Qray(クレイ) というツールの話をします。 はじめに メルペイでは、Google Cloud Platform(以下GCP)を利用してサービスを構築し動かしています。 GCPには Cloud Identity and Access Management (IAM) という権限管理の仕組みがあります。IAMを適切に管理して、アカウントに最低限の権限を付与することがクラウドサービスを安全に利用するためには必要なことです。これはSREが持つ本番環境に対する権限についても同様で、できるだけ本番環境に対する権限を持たないようにしておきたいのですが、障害対応など本番環境でのオペレーション
SRE 統制チームの oracle です。 この記事は freee 基盤チームアドベントカレンダー の12日目になります。 今回は AWS の 組織移行を行った話をさせて頂きます。 AWS の 組織移行というのはどういうこと？と思われる方もいらっしゃるかと思いますので、正しく説明しますと、 既存の複数の AWS アカウントを構成している AWS Organizations を解体し、新規に作成した AWS Organizations にすべてのアカウントを移動させました。 となります。 その動機とアプローチについてご紹介したいと思います。 背景 AWS 組織移行する前から、freee では 数十の AWS アカウントを運用していました。運用の仕方は組織によって様々ですが、一般的にはプロダクトで分けたり、環境で分けたりすることが多いかと思います。 freee でも同様の手法でアカウントを分け
Terraform で AWS Certificate Manager 無料証明書を発行する（AWS Provider 3.0.0 以降の場合） | DevelopersIO
Terraform で AWS Certificate Manager 無料証明書を発行する（AWS Provider 3.0.0 以降の場合） 先日、Terraform で AWS Certificate Manager（以下、ACM） の無料証明書をリクエストおよび検証まで実装する機会がありました。ちょっと詰まったところがありましたので同じように悩んでココへ辿り着く誰かのためにまとめておきます。 AWS Provider 3.0.0 から仕様変更されています 今回の記事は AWS Provider 3.0.0 以降を対象とします。今回の実行環境は以下のとおりです。 $ terraform version Terraform v0.12.29 + provider.aws v3.4. AWS Provider 2.x 以前は以下のエントリーを参考にしてください。 Error: Inval
はじめに Terraformとは、「Infrastructure as Code」を行うツールで、例えば、AWSリソースをコードベースで作成できたりします。「Infrastructure as Code」を行うツールは、たくさんありますが、Terraformでは「モジュール」という機能があります。 このモジュールと言う機能は、ソースコードをテンプレート化して、パラメータを開発用と、本番用で分けることでソースコードを再利用しながら2環境つくれるような機能です。(ざっくり言うと) ただ、そのモジュールの構成について正解は無くネット上でも色んな構成であふれています。 なので、今回は、以下のAWSのCloudFormationのBlackBeltやGCPの記事を参考に、モジュールを使いテンプレート分割する(作成単位をアプリケーションやログとかの運用で分ける感じ)アーキテクチャでリソースを作成し、以
多数のインフラ関連リポジトリをモノレポ構成にまとめたTips - LIVESENSE ENGINEER BLOG
前書き リブセンス インフラエンジニアの中野(etsxxx)です。VPoEという肩書きのそいつと同一人物です。 言うまでもなく写真と本文にはあまり関係ありません。コロナ禍前の、弊社のオフィスでのモノレポ化の風景です。 写真のそれとは異なりますが、私はTeacher'sというウィスキーを家に常備しています。Zoomで烏龍茶を飲んでるように見えたらそれはTeacher'sです。これ、2,700mlサイズのペットボトルが売られていて、それを徒歩5分以内の店で2,700円ほどで買えることを知ってから、そればかり買っています。2,700mlもあれば当分大丈夫だろうと思っていると、いつのまにか空になっているから、リモートワークはなかなか気が抜けません。 さて、Google、Facebookが、モノレポ(monolithic repository/単一リポジトリ)を採用しているという噂は広く知られている
複数のアプリのバージョンを一箇所で集中管理してCIから一括バージョンアップできるようにした - くりにっき
モチベーション リポジトリ 動いてる風景 対応形式 仕組み 各リポジトリに適用してるItamaeのレシピファイル こだわりポイント CI用にGitHub Appを作った モチベーション dependabotだとライブラリの自動バージョンアップはできるのだが、RubyやGoなどのランタイムのバージョンまでは対応してないので一箇所で管理できるようにしたかった 実は一箇所で管理すること自体は既に https://github.com/sue445/ci-config-itamae でやってたのだが、手元に動かす方式だと忘れるのでCIで動かすようにしたかった CI化は割とすぐに終わったのだが、パブリックリポジトリの設定とプライベートリポジトリの設定が混在してたのでこのリポジトリもプライベートリポジトリでずっと運用していた。しかしリポジトリの数が多すぎて*1 ActionsのQuotaを使い切りそう
年末年始の連休で『Terraform: Up & Running, 2nd Edition』を読みました。 モチベーション某 SaaS の構成管理のため、試験的に Terraform を使っています。理由は「組織の拡大に対応するために 3 桁個の設定を追加することにしたから」です。設定の追加だけなら書き捨ての GAS で済ませる選択もあったのですが、その後のメンテナンスまで考えて Terraform を試してみるか、という判断をしました。 「設定のプロビジョニング」を最優先の目標とし、最低限の調査・検証をしてエイヤしたので「つまみ食いじゃなく、体系的に学んでおきたいな」、「これ、運用を意識したらどういう書き方にするんだろうなー」と常にモヤモヤを抱えている状態でした。機能自体は公式ドキュメントにしっかり書かれているんですけどね。こういうときはとりあえず書籍です。 (脱線) O'Reilly
HashiCorp 製品導入の背景と今後の展望｜イオンスマートテクノロジーのDX ｜AEON TECH HUB
イオンスマートテクノロジー CTO室SREチームの香西が、「Cloud Native Week 2024冬」に登壇しました。HashiCorp製品導入の背景と今後の展望ということで、HCP Terraformを導入した背景などをまとめています。導入当時に抱えていた課題は何だったのか？HashiCorp製品を活用しながらどのように改善していったか？文末の資料と動画では、HashiCorp Japan・村田氏のプレゼン内容もご覧いただけます。
Style Guide - Configuration Language | Terraform | HashiCorp Developer
The flexibility of Terraform's configuration language gives you many options to choose from as you write your code, structure your directories, and test your configuration. While some design decisions depend on your organization's needs or preferences, there are some common patterns that we suggest you adopt. Adopting and adhering to a style guide keeps your Terraform code legible, scalable, and m
AWS IAM の管理を miam から Terraform に移行した話 - スタディサプリ Product Team Blog
こんにちは。 SRE の @suzuki-shunsuke です。 AWS IAM の管理を miam から Terraform に移行した話を紹介します。 なお、 AWS や miam に限らず「Terraform で管理されていない大量のリソースを Terraform で管理する」ことを検討している方には参考になる内容かと思います。 背景 本ブログでも何度か紹介したとおり、弊社では AWS のリソースを Terraform で管理しています。 しかし、実は IAM に関しては miam という別のツールで主に管理されていました。 miam は AWS IAM を管理することに特化したツールです。 miam には以下のような特徴があります。 Ruby の DSL によって柔軟にリソースの定義ができる miam によるリソース管理を強制できる DSL で定義されていないリソースは削除されて
GCP Shared VPCを利用した全社共通ネットワークの運用におけるDedicated Interconnect利用設定の最適化手法 - ZOZO TECH BLOG
はじめに こんにちは。気がつけば4月でZOZOTOWNに関わって9年目を迎えるSRE部の横田です。普段はSREとしてZOZOTOWNのリプレイスや運用に携わっています。 本記事ではGoogle Cloud PlatformでShared VPCを採用し全社共通ネットワークを構築した背景とその運用方法について説明します。 ZOZOTOWNとパブリッククラウド専用線 まずはZOZOTOWNとパブリッククラウドを接続する専用線について説明します。 数年前まではZOZOTOWNを支える基盤は、ほぼ全てがオンプレミス環境で稼働しており、以下の課題がありました。 システムが密結合であること アジリティの低さ これらを解決するためにパブリッククラウドを活用したマイクロサービス化が日々進んでいます。 現在パブリッククラウドはAmazon Web Services（以下、AWS）とGoogle Cloud
はじめに この記事は富士通クラウドテクノロジーズ Advent Calendar 2021 の 15 日目の記事です。 こんにちは。富士通クラウドテクノロジーズ株式会社 (FJCT) でエンジニアをしている @aokuma です。 昨日の記事は エンドエンジニアの @seumo 氏による SmithyでAPIリファレンス作成してみよう でした。 Smithy、現在は主に AWS SDK の実装として使われているみたいですが、多言語 SDK が求められるサービスプロバイダーにとって、このような仕組みがオープンになるのはとても嬉しいですね。利用できる言語が更に拡張されるのを期待しています！ さて、今日は弊社の開発基盤の中心である 社内 GitLab の大型マイグレーションを実施したお話をしようと思います。 背景 現在、弊社の開発基盤の中でコード管理...にとどまらず、プロジェクト管理や Dev
AKIBA.AWS ONLINE #03 -「TerraformとCloudFormationどちらを採用すべき？」というタイトルで登壇しました | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 タイトルの通りですが、AKIBA.AWS ONLINE #03 -「TerraformとCloudFormationどちらを採用すべき？」というタイトルで登壇してきましたので資料を公開します。 資料 まとめ まずは大前提として状況と比較しましょう。新しい技術にはどうしても学習コストが伴います。新しくて最新の技術がチームにとって必ずしも最適解であるとは限りません。また作って終わりではなく運用が大切です。それぞれの特徴をチームで理解し運用していけるかというのも大切な観点です。 発表で取り上げた観点と特徴を表にまとめるとこんな感じです。 観点 Terraform Cloudformation
ワークフローツールを AWS Step Functions に移行した話 | CyberAgent Developers Blog
AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ
Identity-based access Boundary provides access to applications and critical systems with fine-grained authorizations without managing credentials or exposing your network. Authenticate and authorizeAuthenticate with any trusted identity provider you are already using and authorize access based on granular, logical roles and services. ConnectManage dynamic infrastructure and integrate service regis
Terraform による迅速なクラウド基盤の構築とワークロードのデプロイ | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 Google は去年、ベスト プラクティスに従って強固なクラウド基盤を迅速に構築するため役立つオープンソースのテンプレートとして、Cloud Foundation Toolkit をリリースしました。これらのモジュールは Terraform infrastructure-as-code フレームワークと、Google の Cloud Deployment Manager の両方で利用できます。 本ブログ投稿では、Cloud Foundation Toolkit Terraform のサンプル基盤 を使用して、安全なクラウド基盤を構築する方法について詳しく解説します。その次に、Terraform を使用してマイクロサービスのデモアプリケーションを基盤上にデプロイする方法
アーキテクチャ図だけ描いてTerraformはGoogle Cloud Developer Cheat Sheetに書いてもらおう
アーキテクチャ図だけ描いてTerraformはGoogle Cloud Developer Cheat Sheetに書いてもらおう 初めての方は、初めまして。そうでない方も、初めまして。クラウドエース SRE 部で Professional Cooking Architect をしている zeta です。私はドンドコ島の充実度をオンライン1位(多分)にしましたが皆さんいかがお過ごしでしょうか。 はじめに クラウドエースの SRE 部は Google Cloud のインフラの面倒を見ることが主な業務です。世の中の多くの企業の似たような役割を持つ部署でもそうだと思いますが、インフラの設計・構築・運用といったフェーズを行っていきます。こういったインフラエンジニア的なことをやっていると、みなさんも一度ぐらいは「設計だけやったら勝手にインフラ構築されねーかな〜」なんて思ったことはあるのではないでしょ
あけおめ☆ 年末年始を長期休暇にしたせいで、起ち上がりが悪い。エンジニアたるもの、そんな時はコーディングだ。Pythonでモチベーションを取り戻すんだ！ その気持ちだけでクールなシステムを考案・構築してしまったので、書いていきたいんだけど、物事には順序がある。まずは HTTP API Gateway に認証をつけるとこから、ブログの暖機運転なのだ。 おさらいと公式 前に、API Gateway の基本的な部分は↓↓に書きました。 AWS API Gateway v2 の Terraform構成 | 外道父の匠 AWS API Gateway v2 HTTPの基礎練習 | 外道父の匠 認証の仕組みがなかったので、まぁこんなこともできるよねって意味で、オレオレ認証も書いたんだけど、その後すぐに公式で対応されたわけです。 API Gateway HTTP API が Lambda および IAM
Terraform の基本的な仕組みから実践まで深く学べる一冊「詳解 Terraform 第3版」を読んだ - kakakakakku blog
2023年11月21日（明日📅）に出版される新著「詳解 Terraform 第3版」を読んだ📕 本書では Terraform の基本的な仕組みを学べるだけではなく，Terraform を実践的に使うときに必要になるステート管理・モジュール・シークレット管理・テストなど幅広いトピックまでまとまった一冊になっていて素晴らしかった❗️また Terraform の日本語書籍は今まであまりなく，この内容を日本語で読めることも素晴らしいと思う． 詳解 Terraform 第3版 ―Infrastructure as Codeを実現する 作者:Yevgeniy Brikmanオーム社Amazon 本書は翻訳を担当された松浦隼人さん，そしてオライリー・ジャパン様に送っていただきました．出版情報を知ったときから絶対に買おうと思っていたほど気になってました．ありがとうございます❗️ そして出版おめでとうご
【記事移行のおしらせ】こちらの記事はバンダイナムコネクサスのTechBlogへ移行しました。 下記Linkよりご覧ください。 https://zenn.dev/bnx_techblog/articles/2694cbbda8b99b データ戦略部データインフラストラテジーセクションでデータエンジニアリーダ兼、データストラテジストをしている藤井です。 現在、私の所属しているデータインフラストラテジーセクションは昨年12月に出来たばかりのセクションで名前のとおり、ネクサスの必需品である「データ」という必需品の基盤を支えるセクションです。 データインフラストラテジーセクションに関する詳細は、以下の記事を参照ください。 データインフラストラテジーセクションの紹介 | バンダイナムコネクサス データエンジニア tech blog 株式会社バンダイナムコネクサスは、名前の通りバンダイナムコグループに所
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
SREの菅原です。 カンムのサービスはWebサービス・バッチ処理なども含めて基本的にはECS上で動かしているのですが、簡単なバッチ処理はLambda+EventBridge Schedulerの組み合わせで動かすこともあります。 LambdaはECSに比べてDockerイメージのビルドやECRの準備が不要で作成の手間が少ないのですが、terraformでデプロイまで含めて管理しようとすると少し問題がありました。 terraformでのLambdaのデプロイの問題点 例えば以下のような構成のNode.jsのLambdaをデプロイする場合 / ├── lambda.tf └── lambda ├── app.js ├── package-lock.json └── package.json // app.js const util = require("util"); const gis =
複数の Terraform state を結合する tfstate-merge を書いて20個以上の state を大統一した - 酒日記 はてな支店
あるところに、ひとつの Web サービスの本番環境が 20 個以上の Terraform state で管理されているリポジトリがありました。 おもに AWS 上で動いている、大変年代物かつ巨大なモノリスのサービスです。最初は何もコード管理されていない状態から徐々に Terraform を導入したのですが、その際に「一度に全部管理はできないから、徐々に Terraform 化していこう」という方針で管理を始めたところ… 新機能を追加するのでそのリソースを別 state で管理 改修があるのでそれらのリソースを別 state で管理 を繰り返すうちに、中に数個程度しかリソースがない state がどんどん増殖し、いつの間にやら20個以上になってしまったという状態です。ちなみにリソース定義は合計で 500 程度ありました。 さすがにここまで分割されてしまうと相互参照はできないし、VPC / S
Terraformの、セキュリティスキャンツールである「tfsec」の触り部分を取り上げました。 簡単なデモもあるため、ぜひご参考にしていただければと思います。 こんにちは！AWS事業本部コンサルティング部のたかくに（@takakuni_）です。 今回は、tfsecを使用して、Terraformのセキュリティスキャンを体験してみようと思います。 結論 tfsecは、Terraformの静的なセキュリティスキャンを行うツール ローカル環境で動作可能な認証情報などを用意しなくていい tfsecとは Aqua Security社の、オープンソースツールです。 ざっくり、ご説明すると、Terraformの静的なセキュリティスキャナーです。 ローカル、CIパイプライン環境で実行できるように設計されています。 いざ実践 インストール 今回は、Macでtfsecを使用してみようと思います。 % brew
CircleCIからもAWS APIへアクセスキーなしでリクエストできる仕組みをTerraformで構築する - BOOK☆WALKER inside
こんにちは。 メディアサービス開発部バックエンド開発グループのフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 CircleCIでもOpenID ConnectのIDプロバイダ機能がリリースされた 私が書いた一つ前の記事では、GitHub ActionsとAWS IAMをOpenID Connectを使って連携させ、TypeScriptで記述したアプリケーション(Next.js, Serverless Framework)のデプロイや、TerrafromのリポジトリにPRを出した際の自動planを永続的アクセスキー不要で行っているとお話ししました。 developers.bookwalker.jp 一方で、TypeScriptやTerraform以外のア
[Terraform]ECS FargateでFireLensを使って複数サービスにログ出力する | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 ECS FargateでFireLensからCloudWatch LogsやKinesis Data Firehoseへのログ出力を、Terraformでコード化したので紹介します。 検証にあたり、弊社の以下ブログを参考にしました。 そもそもFireLensって何？ FireLensは、複数のAWSサービスやAWSパートナーネットワーク(Datadog等)にログ出力することができます。 ECSタスク定義でサイドカーとして起動し、他のコンテナからログドライバーとして使用します。 コンテナイメージにはFluentdとFluent Bitを選択可能です。 今回の検証では、リソース使用率が低く、ログルータに推奨されているFluent Bitを使用します。 2021/11/6時点でFluent Bitでは、以下のAWSサービスに
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![AWSコンテナ設計・構築[本格]入門を Terraform / GitHub Actions で構築した - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/358fff6f8bfcb45ee63a788373b97fcdbd99e8ec/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGMjc0NjAzMSUyRnByb2ZpbGUtaW1hZ2VzJTJGMTcxMjk4ODU2NT9peGxpYj1yYi00LjAuMCZhcj0xJTNBMSZmaXQ9Y3JvcCZtYXNrPWVsbGlwc2UmZm09cG5nMzImcz02NTlhMTBlMzE3NWIwOTJjYjIxNmJjNzY5ODI5N2RiZQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D993e5b1f09f84d04a05792c7aa5d167f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9QVdTJUUzJTgyJUIzJUUzJTgzJUIzJUUzJTgzJTg2JUUzJTgzJThBJUU4JUE4JUFEJUU4JUE4JTg4JUUzJTgzJUJCJUU2JUE3JThCJUU3JUFGJTg5JTVCJUU2JTlDJUFDJUU2JUEwJUJDJTVEJUU1JTg1JUE1JUU5JTk2JTgwJUUzJTgyJTkyJTIwVGVycmFmb3JtJTIwJTJGJTIwR2l0SHViJTIwQWN0aW9ucyUyMCVFMyU4MSVBNyVFNiVBNyU4QiVFNyVBRiU4OSVFMyU4MSU5NyVFMyU4MSU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTg0ZjIyOGZjY2E5NmQ2ZDQ3NGMxZDgwNjFiOGZjZTg1%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBBa19raSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTM4MzM4YzY5ZTg5YzIzNDc1YjAwNWFiMzBkYmYyMmI2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D224735ae623e98538147f6198abcac20)
ベストなCDK for Terraform(CDKTF)のディレクトリ構成を探る
4年間のEKS移行の取り組みを振り返って | gihyo.jp
Terraformで不要になったmoved/import/removedブロックを楽に削除する
Cloud RunをGithub ActionsとTerraformで管理する
バックエンドもフロントエンドもインフラも Terraform でつくってみた
Fastly を導入しました！ - ぐるなびをちょっと良くするエンジニアブログ
TerraformのCIをAtlantisに移行しました - Repro Tech Blog
権限をQray -SREへの一時的な本番環境権限付与のしくみ- | メルカリエンジニアリング
AWS の組織移行をしました - freee Developers Hub
Terraformでモジュールを使いテンプレート分割する場合のアーキテクチャ - Qiita
『Terraform: Up & Running』を読みました｜pirox
社内GitLabの大型マイグレーションをした話 - Qiita
Boundary by HashiCorp
AWS API Gateway HTTPのAuthorizer設定 | 外道父の匠
バンダイナムコネクサスで構築しているデータ基盤の紹介 | データエンジニア tech blog
terrraformを使ったGoのLambdaの管理 - カンムテックブログ
【tfsec】Terraformの静的セキュリティスキャンを行ってみよう！ | DevelopersIO
chibita-photo.com
kinebiotoriyose.xblog.jp
pete-pedersen.com
www.nytimes.com
kinebiotoriyose.xblog.jp
www.pixiv.net