ワークフローツールを AWS Step Functions に移行した話 | CyberAgent Developers Blog
AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ
Terraformとdbtを活用してデータ基盤整備の生産性が向上した話
はじめに 私が所属しているライフイズテックのデータ基盤グループで、ここ2年ほどでdbtとterraformを活用してDataOpsを進め、データ基盤の整備の生産性が向上した話をまとめます。 導入前の状況と課題 弊社のデータ基盤ではデータ基盤が綺麗に整備されていることよりも、プロダクトや事業に貢献できているかを重要と考え、まずデータを使える状態にすることを目指したサービスの導入や基盤構築を行いました。 考え方としてはこちらの DWHにおけるデータモデリングで大事にしている考え方に書かれている内容に近い考え方になります。 そのため、データモデリングの前にRedashやCRM AnalyticsというBIツール向けにデータレイクからデータマートを先に構築していました。 terraformとdbt導入前は、図のような流れで SQLでSnowflake上にDBやスキーマなどを作成 ELTサービスとし
[ アップデート ] aws_ecs_task_definition に CI/CD との競合を防ぐ track_latest 引数がリリースされました | DevelopersIO
[ アップデート ] aws_ecs_task_definition に CI/CD との競合を防ぐ track_latest 引数がリリースされました aws_ecs_task_definition を定義する際、いつも指定しているあの ignore_changes が、不要になるかもしれません。 tfstate への反映、コードとの差分があった場合の挙動に違いがあるため、理解しておくと今後役立つかもです。 こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。 aws_ecs_task_definition で CI/CD との競合を防ぐために、 track_latest 引数がリリースされました。 r/aws_ecs_task_definition: add track_latest attribute by GerardSoleCa · Pull
![[ アップデート ] aws_ecs_task_definition に CI/CD との競合を防ぐ track_latest 引数がリリースされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
Terraform 公式がスタイルガイドを出したので読んで要約した - Qiita
3/30 に X で Terraform がトレンド入りしていて何事かと思ったら Terraform が公式ドキュメントとしてスタイルガイドを出したようです。 Terraform Style Guide いままで Terraform のスタイルに関して信頼できるドキュメントといえば Google Cloud の Terraform を使用するためのベスト プラクティス ぐらいしか知らなかったのですが、 Terraform 公式がようやく出してくれてありがたい限りです。 これでわざわざ社内の Terraform 規約を設けずとも「公式ドキュメントに従いましょう。」の一言で済みます。 ということで一通り読んだのでまとめました。 原文だと構文の簡単な使い方なども書いてありますが以下の要約ではだいたい省略しています。 詳細は原文を読んで確認してください。 要約 スタイルガイドについて コードのスタ
Terraform の count で制御したリソースを one 関数で output する - kakakakakku blog
Terraform で count Meta-Argument を if のように使ってリソースを作るかどうかを制御できるという Tips がある．リソース間で参照するときは，同じく count で制御しつつ，例えば aws_iam_user.kakakakakku[0].name のようにインデックスを指定できるけど，Terraform の Output Values から参照する場合は output で制御できず，リソースを作らない場合に Error: Invalid index というエラーが出てしまう場合がある💨 one 関数と組み合わせる 対策の一つとして，Terraform の one Function（one 関数）と Splat Expressions（スプラット演算子）を組み合わせて解決できる．以下にサンプルコードを載せておく❗️実装には特に意図はなくあくまでサンプルと
actions/artifacts@v4アツい、CIの話題多め、おまけあり｜Productivity Weekly(2023-12-20号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2023-12-20 単独号です。 今回が第 137 回目です。過去の記事はこちら。 生産性向上チームのマスコットキャラクター、セイサンシャインくん爆誕 news 📺 GitHub Actions - Artifacts v4 is now Generally Available - The GitHub Blog actions/upload-artifactとactions/downloa
Terraform 1.5 で追加された import ブロックと HCL 自動生成オプションの組合せが便利
$ terraform import google_project_iam_member.default "my-project roles/viewer user:foo@example.com" さらに、その後は .tf と import 後の .tfstate の差分を無くすためにドキュメント等を確認しながら .tf を更新していく必要がありました。 しかし、v1.5.0 以降のバージョンでは、少々手間に感じていた上記の作業を効率化することができるようになりました。 それが、本記事のテーマとなっている import ブロック & HCL コードの自動生成オプション となります。 検証環境 IaC Tool Terraform v1.6.0 Google Provider v4.56.0 Infrastructure Google Cloud 使用方法 それでは、import ブロック
ドメイン駆動設計を実践して自分の LINE 環境をリファクタリングしてみた | DevelopersIO
手元にある LINE ボット環境のソースファイルが 1 ファイルにも関わらず 350 行超えたので、最近勉強したドメイン駆動設計を実践も兼ねてリファクタリングしてみました。 こんにちは、高崎＠アノテーションです。 はじめに 過去の拙記事にも何度か登場している自身の LINE ボットの環境ですが、cdk のスタック定義が約 100 行、Lambda のソースが約 370 行と注ぎ足し注ぎ足しでだんだんと大きくなってきました。 一方、業務で使用している環境はドメイン駆動モデルを元に設計・構築を行っているものが多いため、これらの環境やドメイン駆動設計を学んだことを実践すべく、この LINE ボット環境をリファクタリングしてみました。 この記事の対象 筆者と同じく「ドメイン駆動設計を始めたばかりの方」向けと考えております。 今回の内容は筆者個人が参考文献を元に記載した記事で、ドメイン駆動設計の正確
CloudFrontだけで短縮URLサービス作ってみた。 - Qiita
はじめに 短縮URLは、オンラインの情報共有において欠かせない存在になっています。 しかし、その便利さの裏でセキュリティ上の問題も指摘されていることがあります。 例えば、QRコードを介した不正サイトへの誘導事例などが報告されています。 原因は「短縮URL」か？ QRコードから不正サイトへ誘導される事例が相次ぐ オートバックスセブン、学習院大学も こういったこともあり、エンジニアの皆様は自作されることも多いのではないでしょうか？ 自作短縮URLサービスに関して様々なアーキテクチャがある中、CloudFront大好きな私は、エッジロケーションで完結するのでは？と考えました。 そう、CloudFront KeyValueStore ＋ CloudFront Functionsならね。 URLの実態をCloudFront KeyValueStoreに保存し、CloudFront Functions
Terraform で default セキュリティグループのルールを削除する - kakakakakku blog
AWS Security Hub を導入して AWS Foundational Security Best Practices (FSBP) などを有効化すると VPC default security groups should not allow inbound or outbound traffic という警告が検出されることがある🚨 [EC2.2] VPC default security groups should not allow inbound or outbound traffic This control checks whether the default security group of a VPC allows inbound or outbound traffic. The control fails if the security group allows
開発生産性の話が2本、SPACEフレームワーク気になる：Productivity Weekly (2023-11-08号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2023-11-08 単独号です。 今回が第 132 回目です。過去の記事はこちら。 news 📺 GitHub Actions - Enforcing workflow scope when creating a release - The GitHub Blog GitHub において、REST API を利用してリリースを作成する際に、特定のケースで workflow スコープや wor
https://kazuhira-r.hatenablog.com/entry/2023/10/08/221443
これは、なにをしたくて書いたもの？ Terraform 1.6で、Terraformのtesting framework（terraform testコマンド）が追加されたようなので、試してみようかなと。 Terraform 1.6 adds a test framework for enhanced code validation 今までTerraformのテストといえばlintとTerratestだったと思いますが、選択肢が広がりそうですね。 GitHub - terraform-linters/tflint: A Pluggable Terraform Linter Terratest | Automated tests for your infrastructure code. Terraform testing framework Terraform 1.6に関するリリースブログ
Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説｜ハイクラス転職・求人情報サイト AMBI（アンビ）
ハイクラス求人TOPIT記事一覧Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説 Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説 Terraformは、パブリッククラウドのインフラ構築と自動化のツールとして、IaCのデファクトスタンダードとなっています。この記事では、AWS（Amazon Web Services）を活用するハンズオンを通してTerraformの動作を理解し、実務にもとづいて役立つ機能や便利なエコシステム、さらにSRE視点の事例を紹介します。アソビュー株式会社でSREユニットリーダーを務める鈴木剛志さんを中心に6名のメンバーによる共同執筆です。 アイキャッチ画像 アソビューでは、インフラストラクチャーの変更管理にTerrafo
Terraformのループ記法を基礎から学ぶ | 外道父の匠
Terraform のコーディングにおいて、似た構成の複製をどのように表現するかは結構重要な課題です。放っておくと汚いコピペだらけになっていくからです。 色々な目的とやり方があると思いますので、その表現を実現するためのパーツにでもなればと思い、学習用教材的に書いてみるやつでございます。 目次 説明はそんなに多くないですが、コードのせいで縦長になったので目次を置いておきます。Terraform バージョンは v1.5.7 で動作確認しています。 単体の複製 count for_each セットの複製 module count + module 条件分岐 三項演算子 入れ子 ループ構造 for 複製の方法 階層構造 Pythonの入れ子ループ Terraform の入れ子ループ 続・階層構造 単体の複製 あるリソースに対して、単体の場合は count や for_each を使うことで、lis
Trivy の Misconfiguration Scanning で Terraform の設定ミスを検出しよう - kakakakakku blog
Trivy の「Misconfiguration Scanning」は Terraform をサポートしていて（AWS CloudFormation もサポートしている👏），Terraform コードのセキュリティ課題や設定ミスを検出できる❗️Trivy を活用した Terraform のスキャンを試した作業ログをまとめる📝 aquasecurity.github.io tfsec から Trivy へ 🔜 tfsec は現在も使えるけど，今後は Trivy に移行する流れとなっている💡 GitHub Discussions に今年2月頃 tfsec is joining the Trivy family というアナウンスが投稿されている❗️ github.com さらに GitHub の tfsec リポジトリ（master ブランチ）に今年5月頃 Migrating from
SRE 視点で捉える Firebase の Terraform 自動化: Cloud Build 実践ガイド
はじめに こんにちは、最近 SRE（Site Reliability Engineering）領域に興味のある cobo です。 今回はモバイルアプリ開発向けの SRE を意識したテーマで記事を執筆させていただきます。 説明すること トイルの撲滅 Cloud Build で Firebase プロジェクトの Terraform を自動実行する方法 Cloud Build の基本的な使い方 Cloud Build の構築フロー 説明しないこと 複数環境（development, staging, production）に対応した管理方法 ※ 本記事の応用版となるため、別記事にて紹介させていただきます。 Terraform の使用方法 ※ Terraform の基本的な使い方 および Firebase プロジェクトを管理する方法に関しては、私が過去に執筆した Terraform で Fireb
Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは日々複数のGoogle Cloudプロジェクトを管理しています。これらのプロジェクトでは、データサイエンティストやプロジェクトマネージャーなど別チームのメンバーが作業することもあり、必要に応じてメンバーのGoogleアカウントへ権限を付与しています。 権限の付与はプロジェクトの管理者であるMLOpsブロックメンバーが行いますが、これは頻繁に発生する作業でありトイルとなっていました。 また権限付与後はこれらを継続的に管理し、定期的に棚卸しすることで不要になった権限を削除する必要があります。しかし当初の運用だと権限の棚卸しの対応コストが大きく、これが実施されずに不要な権限が残り続けるという課題もありました。 本記事ではMLOpsブロックで抱えていたGoogle Cloudプロジェクト内での権限管理における
Terraform で AWS に DB を構築するとき manage_master_user_password を使っていますか？ - 電通総研 テックブログ
こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター セキュリティグループの耿です。 Terraform で Amazon RDS インスタンス/クラスターを作る時に、password または master_password 属性に指定したマスターユーザーのパスワードが tfstate ファイルに平文で残ってしまう問題がありました。 （参考） https://speakerdeck.com/harukasakihara/sekiyuanaterraformfalseshi-ifang-ji-mi-qing-bao-wokodonihan-mezuhuan-jing-gou-zhu-surunihadousitaraiifalse しかしこれも過去の話。Terraform AWS Provider v4.61.0 からこの問題を解消する方法が提供されているので、それについ
Terraform で Amazon ECR の基本スキャンをレジストリレベルで設定する - kakakakakku blog
Amazon ECR で Basic scanning（基本スキャン）を使う場合に「リポジトリレベル」の設定は現在推奨されてなく，マネジメントコンソール上だと リポジトリレベルの ScanOnPush 設定は非推奨となり、レジストリレベルのスキャンフィルターが優先されます。 のように警告が表示される🚨 現在は「レジストリレベル」での設定をする必要がある💡 Terraform だと aws_ecr_registry_scanning_configuration リソースを使って設定できる．scan_type には BASIC もしくは ENHANCED を設定できて，今回は東京リージョン (ap-northeast-1) と大阪リージョン (ap-northeast-3) に設定するため BASIC とする．大阪リージョンに Amazon Inspector 来てくれぇ〜🙏 aws_e
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Codeシリーズで作るTerraformのCICDパイプラインの概要