ソースコードのハッシュ値を利用したCIの高速化 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、kintoneチームの川向です。 ソースコードハッシュ値計算ツールであるsverを導入してCIの高速化を行ったので、その紹介をさせてください。 この仕組みにより、通常は1時間かかるCIの実行時間が最善のケースでは20分程度に短縮可能になりました。 導入前の課題 解決方法の検討 sverを使ったテストのスキップによるCI高速化 kintoneでのsverの利用方法 sver設定ファイルの書き方 キャシュの保存先(GitHub Actions Cache、Amazon S3) sverを使ったジョブの書き方 sver情報生成ジョブ: ハッシュ生成とキャッシュの存在確認 ビルドジョブ: 依存ファイル以外に依存しないことの確認 テストジョブ: ジョブ成功後にキャッシュ保存 下流ジョブのifの書き方 結果 課題と今後の展開 まとめ 導入前の課題 kintoneのCIの大まかな構成は以下の
秘密情報をGitLabに格納することなくGoogle Cloud / AWSに対して認証する - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームの笹川です。 趣味はバスケと筋トレで、このところはNBAはオフシーズンですが、代わりにユーロバスケが盛り上がっていて、NBAに来ていない良いプレーヤーがたくさんいるんだなーと思いながら見ています。 夜ご飯を催促するためデスク横で待機する犬氏（かわいい） 今回は、パブリッククラウドへの認証に必要な秘密情報をGitLab自体に格納することなく、安全に認証する方法について紹介します。 CI/CDの実行時のパブリッククラウドに対する認証 ナイーブな手法とその問題点 OpenID Connectを用いた認証 Terraformでパブリッククラウド側の設定を記述する Google Cloudの場合 AWSの場合 GitLab CI/CDで認証する Google Cloudの場合 AWSの場合 認証ステップの共通化 まとめ We are hirin
[DevOpsプラットフォームの取り組み #3] Infrastructure as Codeの課題とCloud Native Adapter - NTT Communications Engineers' Blog
はじめに DevOpsプラットフォームの取り組みを紹介する3回目の記事です。 Qmonus Value Streamのアーキテクトの牧志 (@JunMakishi) です。 本記事では、Qmonus Value Streamの独自技術であるCloud Native Adapterを紹介します。はじめにInfrastructure as Codeの課題を指摘し、Cloud Native Adapterを使ってこれらの課題をどう解決するのかを解説します。 Infrastructure as Codeの課題 Infrastructuer as Code (以下IaC) は、特定のツールを指すのではなく、インフラストラクチャをコードで記述し、ソフトウェアと同じように取り扱うプラクティスを指します。インフラストラクチャのリソース構成や設定をコードで記述・適用することで、再現性、一貫性、および透明性の
![[DevOpsプラットフォームの取り組み #3] Infrastructure as Codeの課題とCloud Native Adapter - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/996b3f4ef0d0fed0fd17fad7d52c7c250829cf1f/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20220720%2F20220720081548.png)
GitHub Actions + google-github-actions/auth で GCP keyless CI/CD
GitHub Actions + google-github-actions/auth で GCP keyless CI/CD 追記 2021/10/08 v0.3.1 にすると aud 周りの設定変更が必要 ソース 追記 2021/10/07 OIDCトークン発行元のURLが変更になったようです ソース 要約： GitHub ActionsでCI/CD的なことやろうとしたとき、SecretsとかにGCPのService AccountのKeyとか置かなくてもデプロイとかできるようになったらしいのでやったらできた。 経緯 AWS federation comes to GitHub Actions という記事が出て。 GitHub ActionsのOIDC id tokenでGCPにアクセスしてみた といってGCPでもやれるか確かめた人が出て。 Use gcloud with creden
GitHub Actionsに「強い」AWSの権限を渡したい ~作戦3 - AssumeRole with Google ID Token ~ - KAYAC engineers' blog
こんにちは。技術部の池田です。 この記事では、Github Actions上に「強い」AWSの権限を渡すために以下のことを行います。 App Runnerでお手軽にGoogle ID Token 取得するためのWeb Applicationを動かす。 Web Applicationから取得できるGoogle ID Tokenを信頼するIAM RoleにAssumeRoleする。 AssumeRoleによって得られた一時的な強い権限で、強い権限を要求する作業(Deploy, Terraform Apply)をGithub Actionsで行う。 これにより、Github Actions上にAWSのアクセスキーを置かずに、ある程度安全な方法でAWS上での強い権限を要求する操作を実行できます。 そのため、例えばGithub Repositoryに不正アクセスされてしまったとしても、AWSの本番環
CIのシークレット変数に1Password CLIを利用する - 24/7 twenty-four seven
CIでいろいろなタスクを自動化していると、CIで必要とするAPIのトークンやアカウント情報など設定しているシークレット変数が増えてきます。 たいていの場合はCIサービスのシークレット変数を利用すればよいですが、サービスによっては一度設定したシークレット変数を見ることができなかったり（GitHub ActionsやCircle CIが該当）、トークンやアカウント情報の更新や追加があったときにCIの変数を更新していくのが大変だったり、シークレット変数のメンテナンスはそこそこ面倒な作業です。 性質上かなり強い権限が設定されているトークンだったりすることもあるので、誰がその値をメンテナンスできるか、という管理の問題もあります。 そこで1Passwordをアカウント情報の共有に使っている組織なら、1PasswordはCLIの操作が提供されているのでCIから1Passwordのアカウント情報を取得する
新卒１年目が荒れ果てた開発環境に１年間でCIを導入し単体テストを布教した話 - Qiita
この記事は 「Develop fun!」を体現する Works Human Intelligence Advent Calendar 2020 21日目の記事です。 昨日の記事は@sparklingbabyさんのStream API がもっとわかる記事でした。 あらすじ 私は2019年にWorks Human Intelligence（正確には分社前の会社）に新卒入社し、 19年10月からプロダクト開発部門に配属され、SETエンジニアとしてとある製品のJava開発環境の改善に取り組んでいます。 ざっくりとプロダクト開発を紹介するとこんな感じです。 3万クラス程度ある大規模Java Webアプリケーション 開発環境はEclipseを使用 開発者のOSはWindowsのみ Before 私が開発チームに参加した時点では 部門として新規開発に注力しており、足下の環境改善をやる担当者がおらず、 い
GoogleのJohn Micco氏によるFlakyなテストとその判別方法の解説 #JaSST - ブロッコリーのブログ
はじめに FLAKYの内容が今はっきりした！#JaSST— broccoli (@nihonbuson) 2018年3月8日 と書い（てしまっ）たので、JaSST'18 Tokyoに参加した私なりのFlakyの解釈を書きます。 JaSST'18 Tokyoについては以下のページを参照してください。 JaSSTソフトウェアテストシンポジウム-JaSST'18 Tokyo お知らせ この記事の内容を4/11に発表しました！ nihonbuson.hatenadiary.jp 発表スライドはこちら speakerdeck.com 目次 はじめに お知らせ 目次 Micco氏のお話 ICSTでの話 基調講演「Advances in Continuous Integration Testing at Google」 講演資料 テスト文化について (3ページ付近) 回帰テスト (4ページ付近) Mil
Hashicorp の新しいCD ツール "Waypoint" を試してみる - y-ohgi's blog
TL;DR hashicorp がリリースしたCD ツールの hashicorp/waypoint を試してみる記事 サーバーを立ち上げてデプロイx2をしてみた（感動的に楽） 個人的にECS を運用するときはまっさきに検討したいツール version waypoint v0.1.3 試す 公式のGet Started を参考にためしてみる。 https://learn.hashicorp.com/collections/waypoint/get-started-docker Install 各種OS に対応している。とりあえず今回はMacを選択。 https://learn.hashicorp.com/tutorials/waypoint/get-started-install?in=waypoint/get-started-docker brew からサクッと入る $ brew tap
GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD - JX通信社エンジニアブログ
※ 今はGitHub ActionsでOIDCが使えるので、本記事の内容は少し古いです。*1 現場のルール等で「インフラを触るワークロードはオンプレでしか動かしてはならない」みたいなルールがある場合には多少参考になるかと思います。 SREのたっち(@TatchNicolas)です。 JX通信社では「インフラチーム」のようなものは存在せず、開発したチームが運用までやるFull-cycleなスタイルを取っています。AWS・GCPリソースの管理も特定のメンバーが担当するのではなく、必要とする人が必要な時に作成・修正等を行います。すると、terraformなどIaCのツールを利用する場合に「今リポジトリにあるコードは実態を正しく反映しているのか」「誰かが矛盾する変更を加えていないか」という問題が発生します。 CIツール上でterraformを実行することで、問題の一部は回避できるかもしれませんが、
GitLab RunnerをGCPでオートスケールさせて安く運用する - OPTiM TECH BLOG
こんにちは。Optimal Bizのサーバーサイドに関する開発を担当している伊藤です。 皆さんCIは何を利用していますでしょうか？ Optimal BizではGitLab CI/CDを利用しています。 単体テスト・ビルド・デプロイ等CIの用途は多岐にわたりますが、実際にそれらを実行するPCを必要な数だけ常に起動しておくと無駄な料金がかかってしまいます。 そこで、今回はGoogle Cloud Platform(以降、GCP)のプリエンプティブル VM インスタンスをGoogle Kubernetes Engine(以降、GKE)でオートスケールさせることで、CIリソースを格安で確保する事例を紹介します。 利用例 Optimal Bizチームの場合は「RSpecをGitLab CI/CDを使って並列実行する」で紹介した大量の単体テストを約20台のノードで並列実行するために利用しています。 ざ
GitLab CI の便利なところ ~ yml include extends, Protected 環境変数, Container registry, Deploy environment, JUnit test report ~ - Qiita
GitLab CI の便利なところ ~ yml include extends, Protected 環境変数, Container registry, Deploy environment, JUnit test report ~GitLabGitLab-CICICD こんにちは。 巷では GitHub Actions がアツい今日このごろですが、GitLab にもあまり知られていない便利な機能があるんやで。ということで、最近知った GitLab CI の便利な機能をご紹介しようと思います。 今更感は否めない はじめに 以降で参照するサンプルリポジトリはこちらになります。 https://gitlab.com/yo-C-ta/gitlab-ci-sample https://gitlab.com/yo-C-ta/gitlab-ci-ymls Cloud版で Public リポジトリとして
GCPのサービスアカウントの鍵を作って持ち出す必要がなくなった
背景去年触っていた時は Key Management Serviceについて勘違いしていたこと - あーありがち(2018-10-21) こんな感じで、 GCPの中にコードを送り込むことを自動化する際にサービスアカウントを使うので、そのアカウントの鍵が必要pkgcloud が keyFilename がないと激おこという理由で鍵をどう管理するかを考えていたのだけど、事情が変わって鍵の管理を全部不要にできたので、これをまとめておく。 まとめpkgcloud が 2019-04 時点で依存 npm を gcloud から @google-cloud に乗り換えたおかげで client library の挙動が正しくなった 動作時のサービスアカウントの default credentials と permissions を取得できるCloud Source Repositories & Clou
コードレビュー自動化、障害注入／分散トレーシング、マルチクラウドIaC――コンテナベースのCI/CDがもたらす新たな開発者体験とは
コードレビュー自動化、障害注入／分散トレーシング、マルチクラウドIaC――コンテナベースのCI/CDがもたらす新たな開発者体験とは：コンテナベースのCI/CD本番事例大解剖（終）（1/2 ページ） Kubernetes、コンテナ技術を活用したCI/CD基盤におけるサービス開発について、リクルートテクノロジーズの事例を基に解説する連載。最終回は、「プロダクト品質の磨き込み」「アジリティの向上への取り組み」の2つを中心に解説を進めます。 本連載「コンテナベースのCI/CD本番事例大解剖」では、リクルートテクノロジーズが取り組んだ事例を基に、Kubernetes、コンテナ技術を活用したCI/CD（継続的インテグレーション／継続的デリバリー）基盤におけるサービス開発について解説しています。 これまで3回にわたる連載では、アプリケーションエンジニアおよびインフラ／運用エンジニアの観点から、技術選定に
GAEアプリの開発フローにCloud BuildでのCI/CDをいい感じに組み込む - Sansan Tech Blog
関西支店で新規事業開発室に所属する加藤です。私のチームでは、Google Cloud Platform (GCP) で主にGoogle App Engine (GAE) を使ってシステムを構築しています。 GAEはコマンド1つで簡単にデプロイできますが、チームの開発者が増えるにつれて、デプロイ用の設定を共有するのが大変になってきました。 デプロイにも時間がかかって、リリース作業に負荷を感じるようになりました。 そこで、GAEアプリケーションの開発フローに、Cloud BuildによるContinuous Integration (CI) / Continuous Delivery (CD) を組み込み、デプロイを自動化しました。 公式ドキュメントや各種ブログに個別の方法は記載されていますが、開発フローに組み込もうとした時にいくつか考えることがあったので、まとめておきます。 前提 Googl
Cloud Build のドキュメント | Cloud Build Documentation | Google Cloud
Cloud Build は、Google Cloud インフラストラクチャでビルドを実行するサービスです。Cloud Build は、Cloud Storage、Cloud Source Repositories、GitLab、GitHub、Bitbucket からソースコードをインポートし、仕様に合わせてビルドを実行して、Docker コンテナや Java アーカイブなどのアーティファクトを生成します。詳細 Cloud Build は、一連のビルドステップとしてビルドを実行します。各ビルドステップは、Docker コンテナで実行されます。1 つのビルドステップでは、環境に関係なく、コンテナから実行可能なあらゆる処理を実行できます。タスクを実行するには、Cloud Build が提供するサポート対象のビルドステップを使用するか、独自のビルドステップを作成します。
Tekton ~ Kubernetes native pipeline resource ~
CI / CD してますか？ 2019年初頭、Tekton プロジェクトが公開されました。本投稿では、Tekton の基本的な概念と、簡単な使い方をご紹介します。 Tekton ?Tekton は、Kubernetes-native pipeline resource と表現される通り、k8s 上で CI/CD パイプラインを構築するためのフレームワークです。元々は、Knative プロジェクトの中で始まったプロジェクトで、現在は、Continuous Delivery Foundation でホストされています。 Tekton は “k8s-native” が表す通り、GKE は勿論、ローカルの k8s クラスターを含む、様々な k8s 環境で動作します。また、パイプラインをYAML形式で宣言的に記述でき、後述する Tekton の概念により、組み合わせ可能かつ再利用性が高いという特徴が
Cloud Build が kaniko のキャッシュでビルドが高速化！
GCP の Cloud Build で kaniko を使用することでビルドを高速化できるという記事が出ていたのでどのくらいキャッシュできるのかやってみた。 kaniko とはDockerデーモンを使用せずにコンテナイメージをビルドするGoogleのOSS。Dockerデーモンに依存しないことでroot権限なしでビルドできるようになる。 Introducing kaniko: Build container images in Kubernetes and Google Container Builder without… Building images from a standard Dockerfile typically relies upon interactive access to a Docker daemon, which requires…
GitLab CIのjobの実行時間改善Tips - Qiita
GitLab Advent Calendar 2018 3日目の記事です。 はじめに GitLab CIを運用するにあたり、ジョブの実行時間を早くする為に実施した設定の見直し等をまとめます。 環境 GitLab (CE) : 11.2.3 GitLab Runner : 11.2.0 並列実行数を増やす Runnerが同時に処理することのできるジョブの数を増加させます。 GitLab Runnerサーバの/etc/gitlab-runner/config.tomlファイル内の先頭にあるconcurrentを変更することで設定できます。 デフォルトでは1になっていますが、サーバのスペックと相談して適宜増やしましょう。 下記はジョブの並列処理数を3に変更した例です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitOpsでも秘匿情報をバッチリ扱う方法、SealedSecretとは？ / How to manage credentials on GitOps
