モノレポでの GitHub Actions CI の泥臭い高速化
はじめに みなさんこんにちは、物流業界の価値最大化をミッションに掲げ運送会社のDXに寄り添うアセンド株式会社でCTOを務めている丹羽です。 1日5.2回のリリースを実現するプロダクトチームの開発体験を支えるCIの高速化についてご紹介します（先週3/20週の平均値）。1日に数回デプロイというレベルでの素早く開発するにおいて、 push 時の CI Check の速さは地味ですが開発体験にとって見逃せない存在になります。特にモノレポ環境ではジョブが複数ある中でいかに省略ができるかが鍵となり、泥臭くも数十秒でも高速化のため戦ったポイントを紹介します。 アセンドでは顧客課題を中心にプロダクト開発をするためにフルサイクルエンジニアという開発スタイルを取り、１エンジニアがフロント・バックエンドだけでなく設計からリリース・サポートまでのソフトウェアのライフサイクル全体にオーナーシップを持って開発していま
転職します | Melody
転職することになったのでその経緯とかを書こうかなと思います。 現職ではなにをやっていたのか現職では Recruit でスタディサプリ及び Quipper Product (Quipper School, Quipper Video) の SRE をやっていました。 2019-10-01 から Quipper Japan Branch の SRE team に Join し、 Quipper Japan Branch が 2021-10-01 に Recruit に統合されてからは Recruit の SRE をやっていました。 統合されてからも携わっているプロダクトや業務内容は特に変わってないので、 2 年 9 ヶ月ほど在籍していたことになります。 https://github.com/suzuki-shunsuke/resume に職務経歴書を置いているのでそちらも参照してください。
Cloud Operator Days Tokyo 2022 に動画登壇しました！
こんにちは。エンジニアリングチームの照井です。初めてインフラエンジニアwayに投稿します。 Cloud Operator Days Tokyo 2022 というイベントにおいて、「文書作成ソフトからの脱却 ～Markdownによるアラート対応手順書CI/CD～」という題名で「社内ドキュメント作成の自動化」について動画登壇させていただきました。このイベントではハートビーツがゴールドスポンサーとなっております。 なお、登壇動画はイベントページにて2022/06/27より公開されております。 Cloud Operator Days Tokyoのご紹介 Cloud Operator Days Tokyo は、クラウド運用者に焦点を当てた技術イベントです。 運用技術の発展やインフラ、アプリケーション運用に興味がある若手の教育、育成を目的に掲げています。 Cloud Operator Days Tok
Check! GitHub auto-merge は "プルリクエストのブロックが解消されたとき" に自動でマージさせる機能
Check! GitHub auto-merge は "プルリクエストのブロックが解消されたとき" に自動でマージさせる機能 Prologue こんにちは、 @dz_ こと、大平かづみです。 GitHub には "auto-merge" という、プルリクエストの条件が満たされれば自動的にマージしてくれる機能があります。GitHub のリポジトリの設定にある Allow auto-merge を有効にすると、利用を許可することができます。 GitHub リポジトリ設定の Allow auto-merge 設定の項目 といっても、どんな条件の場合に利用できるのか？ 設定から利用を許可してもよくわからなかったので、本腰を入れて実際に確認してみました🤓 auto-merge の利用シーン auto-merge は、前述のようにリポジトリの設定で Allow auto-merge を有効にするだけ
GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで - エンジニアHub｜Webエンジニアのキャリアを考える！
GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで GitHubが公式に提供するGitHub Actionsは、後発ながらよく使われるワークフローエンジンとなっています。本記事では、藤吾郎（gfx）さんが、典型的なCI/CDのユースケースに即したワークフローの設定と管理について解説するとともに、注目されているGitHub OIDC（OpenID Connect）の利用についても紹介します。 GitHub Actionsは、GitHubが提供するCI/CDのためのワークフローエンジンです。ワークフローエンジンは、ビルド、テスト、デプロイといったCI/CD関連のワークフローを実行し、定期実行するワークフローを管理するなど、開発におけるソフトウェア実行の自動化を担います。 ▶ GitHub Actions - アイデアからリリースまでのワーク
Terraform の CI を AWS CodeBuild から GitHub Actions + tfaction に移行しました - スタディサプリ Product Team Blog
こんにちは。 SRE の @suzuki-shunsuke です。 Terraform の CI を AWS CodeBuild (以下 CodeBuild) から GitHub Actions + tfaction に移行した話を紹介します。 これまでの Terraform Workflow (CodeBuild) 弊プロダクトの Terraform の CI に関しては過去の記事でも何度か紹介していますが、 元々 CodeBuild 上で CI を実行していました。 かつては CircleCI 上で実行していましたが、 CodeBuild に移行しました。 blog.studysapuri.jp CodeBuild に移行した理由は大きく 2 つありました。 Security 永続的な Access Key を発行することなく AWS のリソースを管理できる GCP に関しても Wor
Amazon ECS マイクロサービス & CI/CD ハンズオン
はじめに 概要 このハンズオンでは、以下のAWSサービスを用いて、コンテナによるマイクロサービスとCI/CDをご体験いただきます。 Amazon ECS（Fargate起動タイプ） Amazon ECR Application Load Balancer（ALB） AWS CodePipeline AWS CodeCommit AWS CodeBuild AWS Cloud Map メモしておいた方がよいもの 初出の際にメモしてください。後々、何回も入力することになります。 Username 例）user1 VPC ID 例）vpc-0cbc47a40f6a35eb0 ALB DNS 例）user1-ecs-alb-263952722.ap-northeast-1.elb.amazonaws.com ECR URI 例）373153792443.dkr.ecr.ap-northeast-1
GitHub Actionsのトークンを使ってAWS公式のconfigure-aws-credentialsを使ってみた
記載時点で、この内容は公式にアナウンスされたものではないことにご注意ください。公式にアナウンスがあった場合何らかの形で更新します。 ※20211127追記 公式にアナウンスがあったので追記しました 20211127追記 下記のブログ記事にあるように、configure-aws-credentialsがOIDCでAssumeRoleできる機能を正式に取り込んだため、本記事に書いてあるような面倒なことをしなくても簡潔にAssumeRoleできるようになりました。 ついにaws-actions/configure-aws-credentials@v1にOIDCでAssumeRoleできる機能が取り込まれました！ そのおかげで、GitHub Actionsのワークフロー上では単に下記のようにすればAssumeRoleできます。 name: Example on: push: env: AWS_RO
フロントの動作確認用の環境をGithub Actionsで自動構築してみた - Uzabase for Engineers
AlphaDrive、NewsPicks兼務でエンジニアしているスギウラ (saba-can00)です。 今回、Github Actionsを利用してコードをpush すると動作確認ができるコンテナが自動で立ち上がるように環境整備したので、その内容をまとめます。 背景 Webのリアーキテクチャプロジェクトにおいてlocalで実装した画面をmainブランチにマージする前にBFFやバックエンドと連携した状態で確認したいというニーズがありました。 さらにGithubにプッシュすると環境がさくっと立ち上がるとDX的にすごく嬉しいということでGithub Actionsをトリガーとした環境の自動構築をチームで進めることにしました。 今回対応した内容 今回対応した内容はざっくり下記の3点です。 topicブランチへのpushをトリガーとして、動作確認用の環境を作成する すでに環境が存在しているtopi
TypeScriptプロジェクトのCIでやってること
概要 最近退職に伴いTypeScriptプロジェクトのCI/CDの見直しを行っているので主にプルリクに対するCIを中心に何をやっているのか(やっていた＆やろうとしているもの含む)紹介します。 それぞれはさらっとした紹介のみです。 ちなみに書いてから気づいたんですが殆どTS以外でもできます。 tsc, prettier, eslint 基本です。恐らく殆どのプロジェクトでやっているかと思います。 tscは--noEmitオプションを付けて実行、eslintは--cacheと--quietオプションを付けて実行しています。 prettierは--list-differentオプションを付けると差分があった場合(=prettierが適用されていないファイルがあった場合)にエラーにしてくれます。 CIでWebpack等でバンドルしてる場合はこの辺を明示的に行わなくてもそこでコケるのでやってないケー
GitHub ActionsでウェブサイトをAmazon S3にデプロイする | DevelopersIO
こんにちは。ジョン・ヒョンジェです！ GitHub Actionsを利用して、ReactプロジェクトをAmazon S3に自動でデプロイしてみましたので共有します。 はじめに GitHub ActionsはGitHubリポジトリを基盤にWorkflowを自動化させることができるCI/CDのツールです。 GitHub ActionsでのWorkflowとは実行する作業とその作業を実行する条件や順序を定義したもので、YAMLに作成されます。GitHubのMarketPlaceで他の人が作成したWorkflowを使うことができ、独自のWorkflowを作成することもできます。 GitHub Actionsを使うとコードのビルド、テスト、デプロイという面倒な過程を自動化させることができるので、開発者の負担を減らすことができます。 では、実際にGitHub Actionsを使ってReactプロジェク
Git clone: a data-driven study on cloning behaviors
EngineeringGit clone: a data-driven study on cloning behaviors@derrickstolee recently discussed several different git clone options, but how do those options actually affect your Git performance? Which option is fastest for your client experience? Which option is fastest for your build machines?… @derrickstolee recently discussed several different git clone options, but how do those options actual
Mercari Microservices Platform における Terraform 0.12 対応 | メルカリエンジニアリング
Platform Group, Platform Infra Team の @dtan4 です。 現在メルカリ/メルペイのマイクロサービス基盤 (Microservices Platform) では、様々なクラウドリソース・SaaS を開発者に提供しています。これらのリソースを宣言的に管理するための手段として HashiCorp Terraform を利用しており、数百のマイクロサービスのインフラが Terraform によって管理されています。 1年以上前の話ですが、Terraform 0.12 がリリースされました。昨年後半に、我々が管理している Terraform リポジトリにおいて Terraform 0.12 対応作業を行いました。本記事では、我々の環境においてどのように Terraform 0.12 対応作業を行ったかについて説明します。 Terraform 0.12 対応の動
Terraform運用事例書きました - pixiv inside
こんにちは、インフラ部の id:sue445 です。 Terraformなにもわからないけどディレクトリ構成の実例を晒して人類に貢献したい - エムスリーテックブログ や Terraformのディレクトリ構成の模索 - Adwaysエンジニアブログ を読んで影響されたのでピクシブのTerraform運用事例を紹介しようと思います。 Terraformの採用理由 GitLabでのリポジトリ構成 Terraformのファイル構成 moduleがうまく使えたと思っている事例 GitLab CIでTerraformをいい感じにCIする テンプレートの使い方 ピクシブで実際に使っているテンプレートファイル このテンプレートでできること masterブランチ以外 masterブランチ このテンプレートファイルのポイント 最後に Terraformの採用理由 Terraformと同じようなプロビジョニン
[Terraform]CodeBuildでTerraformリポジトリのCIを行う - Qiita
概要 CodeBuildサービスを利用してterraformリポジトリの継続的インテグレーションが行えるようになるまでの設定手順をハンズオンライクに記載します。 前提 Githubでtfファイルを管理している AWSアカウントを保持している ステートファイルをS3バケットで管理している 実施すること AWS上のCodeBuildサービスを用いて、Githubで管理しているterraformコードに修正が行われた際、修正プルリクエストの更新等をトリガーとして、自動的に以下を行うようなプロジェクトを作成します。 フォーマット確認（format） バリデーション（validate） 静的解析（lint） 実行計画（plan） 実行計画の通知（tfnotify） フォーマット確認 terraform fmtコマンドではファイルにフォーマットをかけたり、未フォーマットのファイルを検知を行ったりします
![[Terraform]CodeBuildでTerraformリポジトリのCIを行う - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3049d872e07c4af46d0fe3ee7b3a40797b2bc2ae/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCVGVycmFmb3JtJTVEQ29kZUJ1aWxkJUUzJTgxJUE3VGVycmFmb3JtJUUzJTgzJUFBJUUzJTgzJTlEJUUzJTgyJUI4JUUzJTgzJTg4JUUzJTgzJUFBJUUzJTgxJUFFQ0klRTMlODIlOTIlRTglQTElOEMlRTMlODElODYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTAyNjNkNzllZmRmZDQ4MDk3Y2VhYjY2ODk2NGMzNmVk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBtaW50YWsyMSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OTViZThiNDY0M2Q2NGJhMzVmYjhjNGY5YWE3ZTM5NzQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D16be812adc7f24d8cba07a3fb1edfac0)
AWS CopilotでAmazon ECSの環境とCI/CDの超簡単構築を試してみた - SMARTCAMP Engineer Blog
スマートキャンプ、エンジニアの入山です。 突然ですが、みなさんはAmazon ECSを利用したことはありますか？ コンテナで開発したアプリケーションをフルマネージドで運用してくれるECSですが、その環境構築を簡単に一括で行ってくれるサービスAWS Copilotが先日発表されました！ AWS Copilotでは、ECSの環境構築だけでなく、GitHubと連携したCI/CDの構築もできるようになっており、AWSやCI/CDの知識や知見がなくとも手軽にコンテナでのサービス立ち上げができます。 AWS Copilotを利用したECSの環境構築については、AWS公式のブログで詳しく紹介されていたので、今回はAWS Copilotを使ったGitHubと連携したCI/CDパイプライン構築を中心に紹介したいと思います！ aws.amazon.com AWS Copilot とは AWS Copilotで
AWSで目指した理想のCI/CDを別視点で考察してみる（データ保護観点） - How elegant the tech world is...!
はじめに 前回のブログでは、マルチアカウントにおけるIAMユーザーの設計戦略についてご紹介しました。 今回は少しテーマを変え、以前筆者がJAWS DAYS 2020で登壇させていただいたCI/CDの内容を基に、データ保護の観点からの設計~実装を取り上げたいと思います。 ※少々お硬い内容を含みますが、AWS CI/CDセキュリティを考える上で一つのポイントになるはずなので、ご興味をお持ちの方は是非お付き合いください。m(_ _)m 前回ご紹介したCI/CD内容のおさらい JAWSDAYS2020にて「金融サービス向けに理想のCI/CDを追い求めたお話」というタイトルで、筆者が担当するサービスのCI/CD設計をご紹介いたしました。 ここで、「理想」という点についてもう一度振り返ると、それは「CI/CD導入により期待すること」と、「業務特性として守らなければならないこと」の両立でした。 高アジリ
First Docker GitHub Action is here! | Docker
We are happy to announce that today Docker has released its first Github Action! We’ve been working with GitHub, looking into how developers have been using GitHub Actions with Docker to set up their CI/CD workflows. The standard flows you’ll see if you look around are what you’d expect: building an image, tagging it, logging into Hub, and pushing the image. This is the workflow we’ve aimed to sup
マイクロサービス移行後のテスト、CI/CD、運用監視で現場が疲弊しないためのポイント
マイクロサービス移行後のテスト、CI/CD、運用監視で現場が疲弊しないためのポイント：特集：マイクロサービス入門（終） マイクロサービスアーキテクチャへの移行を進める上で生まれた課題にどう取り組んだのか。オイシックス・ラ・大地の川上徹氏がOisixのマイクロサービス移行後のテスト、CI/CD、運用監視を紹介します。 これまでの連載では、ECサイトであるOisixをマイクロサービスアーキテクチャへ移行させていくアプローチについて解説してきたが、今回は移行させた後の開発・運用について解説する。 併せて前回まで触れてこなかった開発時に留意しておいた方がいい継続的なメンテナンスや運用に関する内容についても解説する。 CI/CDパイプラインを生かした機動力のある開発 本連載の第5回でも「パイプラインファースト」という言葉について説明したが、開発当初からCI/CD（継続的インテグレーション／継続的デプ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - semaphoreci/book-cicd-docker-kubernetes: A book on CI/CD with Docker, Kubernetes and Semaphore