CIを高速化する技術⚡️ - 10X Product Blog
この記事は 10X アドベントカレンダー2023 という企画の1日目（12/1）の記事です。 こんにちは、10Xでソフトウェアエンジニアをしている 岡野（@operandoOS）です。 今回 10Xで3回目となるアドベントカレンダー企画の1日目をありがたく担当させていただきます💪 目次 目次 10X アドベントカレンダー2023ってなに？ さてさて、本題へ CIは絶対に速い方がいい CIを高速化するテクニックの紹介 キャッシュの利用 マシン性能の調整 ジョブの並列実行とテスト分割 最適なテスト分割 ジョブの実行順序・依存関係の最適化 不要なジョブ・ステップを削除する テストコードの実行速度を上げる 紹介したテクニックを活用した10XでのCI高速化事例 アプリのビルド時間の大幅短縮に成功！！ APIのテスト実行時間の大幅短縮に成功！！ CIを高速化するために日々取り組んでいること CI/C
How to always run a sequential, final job (e.g. Slack notification)?
I’m searching for a solution to run a final job always, i.e. no matter if the previous jobs in a sequence failed. Basically a when: attribute of steps, but as a workflow’s jobs setting: workflows: jobs: - nice-orb/nice-job - slack/notify: requires: - nice-orb/nice-job when: always # <- This seems not possible, or? orbs: slack: circleci/slack@3.x # notify job not there, yet Without such setting, it
Circle CI 2.0でステップが失敗しても次のステップを実行したい
ステップが失敗しても次のステップを実行したい Circle CI 1.0とは異なり、2.0ではステップが失敗すると次のステップは実行されません。 ちなみにコマンドの戻り値が0以外であれば失敗となります。 例: 2つめのステップは実行されません。 version: 2 jobs: build: docker: - image: circleci/ruby:2.5.0 steps: - run: command: | echo "This is first step" exit 1 - run: command: echo "This is second step" 結果: $ circleci build ====>> Spin up Environment Build-agent version 0.0.4984-b7b3a27 (2018-04-23T16:25:42+0000) Sta
CircleCIでtiming dataに基づいたテスト分割をDartで利用できるようにした話.
CircleCIでtiming dataに基づいたテスト分割をDartで利用できるようにした話. 文字起こし https://github.com/operando/Notes/tree/master/%E9%96%8B%E7%99%BA%C3%97%E3%83%86%E3%82%B9%E3%83%88%20LT%E4%BC%9A%20-%20vol.2%20%23devtestlt CircleCIでtiming dataに基づいたテスト分割をDartで利用できるようにするサンプルプロジェクト https://github.com/operando/dart-test-CircleCI-timing-data 開発×テスト LT会 - vol.2 #devtestlt https://rakus.connpass.com/event/237602/
Circle CI 2.0でWorkflow間でファイルを参照したい
workflowを利用して、build jobで作成した成果物をdeploy jobで特定の場所にリリースしたいことはよくあると思います。 Circle CI 2.0ではjobごとに異なるDockerコンテナが起動するので、別のjobにファイルを受け渡すにはpersist_to_workspaceを使います。 一方、そのファイルを参照するjobではattach_workspaceを使います。 実際にやってみます。以下、config.yml version: 2 jobs: build: docker: - image: circleci/ruby:2.5.0-node-browsers steps: - run: mkdir -p /tmp/workspace - run: echo 'This is artifact' >> /tmp/workspace/artifact.txt - r
Skip or cancel jobs and workflows - CircleCI
This document describes how to skip or cancel work when triggering pipelines. There are a couple of ways to do this. The jobs within a pipeline can be skipped on commit, or workflows can be cancelled using the auto-cancel feature. Both methods are described below. By default, CircleCI automatically triggers a pipeline whenever you push changes to your project. You can override this behavior by add
CircleCIのPerformance Planでテスト時間を半減させた - Studyplus Engineering Blog
こんにちはスタディプラスCTOの島田です。 今回はスタディプラスでCircleCIのPerformance Planを導入し、テストの実行時間を半分以下にした内容を書きます。 Performance Planについて CircleCIのPerformance Planとは、処理能力を最適化しパォーマンスを最大化するためのプランです。Performance Planを用いるとビルド時間の短縮やビルドのキュー待ち時間を減らす事が出来ます。 料金体系は以下のようになります。 1アクティブユーザー1名あたり$15/月 + $0.06/100クレジット 導入時点でのスタディプラスの過去30日間の利用状況から費用を見積もったところ、 アクティブユーザー数が19名＝$285 ビルドに要した計算リソースに対する従量課金分 約$250 という内訳で、概算が$535/月となりました。 それまでの料金が、 $3
CircleCIのPerformance Planが控え目に言って最高という話 | Money Forward Engineers' Blog
こんにちは。18新卒でサービスインフラチームの小笠原 (@0gajun) です。 今日はCircleCIのPerformance Planを用いて、CI環境の改善を行った話をします。 （決してCircleCIの回し者ではありません :wink: ） Summary 今までJenkinsをCI環境として用いており、様々な問題を抱えていた CI環境を改善するためにCircleCIに移行した CircleCIにはPerformance Planという従量課金プランが存在する コンテナの並列実行数に制限がなく、実行時間ベースでの従量課金 ただし、まだ Early Accessの段階。 JenkinsからCircleCIに移行することで、次のメリットが得られた CI時間の短縮 CIジョブがキューイングされる問題からの開放 CI環境のメンテナンスコスト削減 CIコストの削減 CircleCIのPerf
CircleCIのDocker Layer Cachingが有料 & だいぶ高価になっていた - モヒカンメモ
ざっくりまとめ CircleCIのDocker Layer Caching (DLC) がパフォーマンスプラン (従量課金) の有料機能になっていた DLCが有効だと、ジョブが1回走る度にVMを20分間動かしたのと同じぶんのクレジットを消費する クレジットは減ったら自動チャージで課金されるので、ガンガン課金されてCI破産しないようにご注意を Docker Layer Caching (DLC) とはなにか docker build時の中間キャッシュ (Layer cache) を再利用する仕組み。前回のビルドから変更がなかった分の中間キャッシュを再利用できれば、その続きからのビルドのみで済むのでCI時間を短縮できる 過去の使ってみた記事 (2018年): blog.pinkumohikan.com いつの間にか有料になっていた 自分が先の記事を書いた2018年5月時点では無料プランでも使え
LobiのCIをJenkinsからCircleCIに移行したはなし - KAYAC engineers' blog
SREチームの長田です。 Tech KAYAC Advent Calendar 2019 4日目の記事です。 今回はLobiで長らくCI実行環境として使用していたJenkinsから、CircleCIに移行したはなしです。 Jenkins時代 jenkins.io 皆様御存知のJenkinsです。 LobiではCI実行のために使用していましたが、ジョブ実行を定型化する汎用的なアプリケーションです。 GitHub上のリポジトリへのpushをトリガーに、対象branchについてCIを実行する、という使い方をしていました。 動作環境はAmazon EC2で、Jenkins本体が稼働しているmaster(x1)と、実際にCIを実行するslave(x2)の3台構成でした。 Jenkins時代もCIするという目的は達成されていたのですが、大きく分けて2つの課題がありました。 メンテナンス Jenkins
アセットの変更がない場合、assets:precompileをスキップすることでCIの速度を改善した - paranitips
assets:precompileに毎回1分ほどかかっていたので嬉しい速度改善 😋 以下の記事を参考にさせていただきました 🙏 CircleCI 2.0に移行して新機能を活用したらCIの実行時間が半分になった話 - クラウドワークス エンジニアブログ 仕組みとしては、precompile対象のアセットの変更をgitのrevisionを使ってチェックして、変更があればprecompile、なければスキップする、という流れです。 自分のプロジェクトではwebpacker + react-railsを使ってるので以下を考慮しました。 compile対象のディレクトリ（app/javascript）の変更もチェックする compile後のassets（public/packs-test）もキャッシュする .circleci/config.yml ... steps: ... # precomp
Collect test data - CircleCI
When you run tests in CircleCI there are two ways to store your test results. You can either use artifacts or the store_test_results step. There are advantages to both methods, so the decision needs to be made for each project. When you save test data using the store_test_results step, CircleCI collects data from XML files and uses it to provide insights into your job. This page describes how to c
Test splitting and parallelism - CircleCI
Use parallelism and test splitting to: Reduce the time taken for the testing portion of your CI/CD pipeline. Specify a number of executors across which to split your tests. Split your test suite using one of the options provided by the CircleCI CLI: by name, size or by using timing data. If you are interested to read about concurrent job runs, see the Concurrency overview page. Pipelines are often
circleci tests split --split-by=timingsについて調べた・自作してみた ·
この記事はCircleCI Advent Calendar 2018の24日目の記事です。 テスト分割実行ファンの皆さんこんにちは。 今回はCircleCIの並列テストにおいて、いい感じにテストファイルを分割することを考えていきたいと思います。 【イメージ アニgif】 テストファイルをいい感じに分割したい まず前提として、「いい感じに分割したい」とはどういうことかということを説明します。 例えば今、テストファイルが7個あって、それぞれのテストにかかる時間が経験上「10秒、6秒、5秒、4秒、3秒、2秒かかる」ということがわかっているとします。 この場合、普通に1プロセスで実行すると10+6+5+4+3+2で30秒かかります。 ここで、CircleCIでparallelism: 3(3並列)で分割テストすることを考えます。 まず悪い例として「[10, 3], [6, 5], [4, 2]」と
bundle install には --clean を指定する (特に Circle CI では)
bundle install には --clean を指定する (特に Circle CI では) Apr 16, 2018 TL;DR bundle install を --clean オプション付きで実行することで、もう使っていない gem や古いバージョンの gem が削除されます。 さもないと、Circle CI 上における Bundler のキャッシュの restore はどんどん遅くなります。 前提 この記事では Circle CI 2.0 において、store_cache と restore_cache を使って、Bundler の gem をキャッシュしているプロジェクトを対象としています。 キャッシュの restore が遅い！！ ある日ふと、Circle CI におけるキャッシュの restore にすごく時間がかかっていることに気づきました。 その時のプロジェクトにお
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CircleCI ブログ
設定だけでCircleCIの実行時間を短縮できるかもしれない話
Pricing and Plan Information
CircleCI Japanese Support Center
GitHub - sj26/rspec_junit_formatter: RSpec results that your CI can read
