この記事は 10X アドベントカレンダー2023 という企画の1日目（12/1）の記事です。 こんにちは、10Xでソフトウェアエンジニアをしている 岡野（@operandoOS）です。 今回 10Xで3回目となるアドベントカレンダー企画の1日目をありがたく担当させていただきます💪 目次 目次 10X アドベントカレンダー2023ってなに？ さてさて、本題へ CIは絶対に速い方がいい CIを高速化するテクニックの紹介 キャッシュの利用 マシン性能の調整 ジョブの並列実行とテスト分割 最適なテスト分割 ジョブの実行順序・依存関係の最適化 不要なジョブ・ステップを削除する テストコードの実行速度を上げる 紹介したテクニックを活用した10XでのCI高速化事例 アプリのビルド時間の大幅短縮に成功！！ APIのテスト実行時間の大幅短縮に成功！！ CIを高速化するために日々取り組んでいること CI/C
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに こんにちは。雑食系エンジニアの勝又です。 今回は、私が2年ほど参画させていただいた大規模サービスのインフラやDevOps周りを全面的にリプレイスしたお話について簡単にご紹介させていただきます。(内容に関しては事前に参画先企業様に確認していただいております) サービス概要 詳細な内容は伏せますが、メインとなるテーブルのレコード数が数十億件、スパイク時には数万〜数十万のユーザーが一斉にアクセスする大規模サービスです。 技術的負債 長く運用されてきたサービスのあるあるですが、新機能の追加が最優先されてきたことにより、こちらのサービス
RailsアプリのCI高速化
参加しているプロジェクトで、RailsアプリのCIの高速化を行った。 まだ進行中の部分も幾つかあるが、結果から言うと、元々8分前後だったテストが3分半程度に短縮された。行った作業を幾つかの観点に分け、どのように高速化を行ったか、どの程度高速化されたか等を記述する。 プロセス数とマシン性能の調整 元々は2コア1プロセス4マシンで8分程度掛かっていたが、8コア8プロセス1マシンに変更することで5分程度に短縮された。 このプロジェクトではCIにGitHub Actionsを利用している。GitHub Actionsではデフォルトで2コアのマシンが利用されるが、Large runnerを利用して8コアに変更した。コア数を２倍にした代わりにマシン数も半分に減らしたので、結果的に費用は変わっていない。 また同時に、8プロセスで並列実行するためにparallel_testsを導入した。このプロジェクトで
ファインディ株式会社でフロントエンドのリードをしております 新福(@puku0x)です。 弊社では、数年前に社内のCI環境をすべてGitHub Actionsに移行しました。 この記事では、弊社のGitHub Actions活用事例の内、CI高速化についてご紹介します。 なぜCI高速化に力を入れるのか CI高速化 キャッシュの活用 ジョブの並列化 Larger Runners まとめ なぜCI高速化に力を入れるのか 当ブログをはじめ弊社では、たびたびCI高速化の大切さについて言及しています。 Findyの爆速開発を支えるテクニック - Findy Tech Blog RailsのCIのテスト実行時間を 10分から5分に高速化した話 - Findy Tech Blog Findy転職フロントエンドの開発生産性を向上させるためにやったこと - Findy Tech Blog これはなぜでしょう
Railsアプリの自動テスト環境をCirlceCIからGitHub Actionsへ移行したときにやったこと - ZOZO TECH BLOG
はじめに こんにちは、WEARバックエンド部バックエンドブロックの塩足です。普段は弊社サービスであるWEARのバックエンド開発・保守を担当しています。 WEARのバックエンドでは、これまで自動テスト環境としてCircleCIを使用していましたが、運用保守の改善を目的にGitHub Actionsへ移行しました。 今回は、GitHub Actionsへ移行する際に取り組んだ以下の3点について紹介します。 効率的にテストを分割してテストを並列実行する方法 失敗したテストのみを再実行する仕組みの構築 GitHubのCheck annotationsを活用して、失敗したテスト情報を表示 また、最後に今回行ったテストカバレッジのレポーティングとGitHub Pagesでのホスティングの方法について紹介します。 目次 はじめに 目次 背景 なぜ自動テスト環境をCircleCIからGitHub Acti
GitHub ActionsでRuby on RailsのCI環境を構築する上でのポイント - STORES Product Blog
STORES 予約 でwebアプリケーションエンジニアをやっております。ykpythemindです。 GitHub Actions、とても便利ですよね。STORES 予約チームでは徐々にCircleCI から GitHub Actionsへの移行を進めていますが、この度歴史あるRailsのリポジトリのCIを移行したので知見を公開します。 概要 RSpecを実行する CIの実行速度のチューニング（CircleCIと同等の速度にしたい） node_modulesなどのインストール結果をキャッシュする テストを並列実行する 大きな方針として、CircleCI等の他サービスからの乗り換えの場合、同等のCI速度/課金額でないと移行は現実的でないと思いますので、速度面のチューニングも意識しています。 ほぼそのままの設定を貼ります 一部プロジェクト固有のstep等があり注釈コメントをつけています。適宜調
広告技術部の yamayu です。 ホグワーツレガシーが気になっているのですがまだ手を出せていません。 映画はファンタビ以外は全部見ており、原作は 7 巻の上巻まで読んでいるため楽しめそうとは思っています。 さて、弊社ではこれまで CI/CD ツールとして CircleCI をメインに利用していたのですが、最近は GitHub Actions でも同等の機能が提供されるようになりつつあり、また GitHub の他の機能との連携が容易である等の理由から徐々に切り替えていくような動きがあります。 広告技術部で管理しているリポジトリも少しずつ GitHub Actions への移行を進めており、その中で CI/CD のプロセスの見直しを行いました。 結果として、CI の実行時間を大幅に短縮することができたので、今回はそのことについて書いていきます。 長い重い多いテスト テストの並列化 マルチノー
FindyでEMをしている栁沢（@nipe0324a）です。 今回は、FindyのとあるRailsのCIのテスト実行時間を10分から5分に高速化した話をご紹介します。 「CIのテスト実行時間が遅い...」 「CIの実行時間を短くしたい!!」 と感じている方はぜひご覧くださいませ。 Findyでは2024年2月現在、1人あたり1日4プルリクを平均で作っています。静的解析や自動テストなどを即時に行うCI環境がないとスピード感のある開発ができなくなるため、CIを高速で回しタスクを完了させる必要があります。機能も増え、テストケースも拡充したことでCIの高速化が求められるようになりました。 また、個人的には、CIは遅くても10分、理想は5分以内で終わるのを1つの目安にしています。これぐらいのスピード感でCIが完了すると、「プルリク作ってレビュー依頼する」、「レビューコメントもらって対応する」といった
STORES では GitHub Actions Self-hosted runner を運用しています - STORES Product Blog
STORES 技術推進本部の@White-Greenです。 この記事では、技術推進本部で管理しているGitHub Actions Self-hosted runnerシステムについて紹介します。 GitHub Actions Self-hosted runnerとは STORESでは、多くのプロジェクトのCI/CD環境にGitHub Actionsを利用しています。GitHub Actionsは通常GitHubが管理しているMicrosoft Azure上のマシンで動作するものですが、自分たちで管理している好きなマシン上で動作させることもできます。これをSelf-hosted runnerといいます。詳細はGitHubのドキュメントをご参照ください。 https://docs.github.com/ja/actions/concepts/runners/self-hosted-runner
Using "modern" Ruby to build a better, faster Homebrew 17 May 2024 Learn why Homebrew now ships its own Ruby, modern Ruby tooling we rely on, how to make Homebrew faster and how we are improving Homebrew. Presented at RubyKaigi 2024. Show transcript 0:00 I'm going to do lots of things in the talk where I want you to put your hands in the air. 0:19 So first one, put your hand in the air if you use
週刊Railsウォッチ: Shopifyのlanguage server ruby-lsp、PostgreSQL 15 Beta 1リリースほか（20220607後編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Ruby 🔗 Rubyでスクレイピングを書いて中古ギターを買った（Ruby Weeklyより） 元記事: Scraping Buy: Scripting
STORES 予約 でエンジニアリングマネージャーをしている Natsume です。 STORES 予約 は10年モノの45万行、380テーブルある大きなモノリスの Rails アプリケーションです。 業種にとらわれない汎用的な予約システムであり、それらに対応するように複雑なコードベースになっています。また、ここ 1~2 年はプロダクト間連携を進めており、各基盤やアプリケーションともつなげていく開発を進めています。今後も新規プロダクトとの連携や機能開発を進めるには、少しでも認知負荷を上げずに開発しやすい状態を保ち続けるか、が重要だと感じました。 その課題感の中で、今回はモジュラモノリスを選択し導入をしましたので、そちらのお話をしたいと思います！ 現状の課題感 私が入社した3年前から STORES 予約 の開発メンバーは3倍になり比較的新しいメンバーが多く、また古くからいるエンジニアも少数な
GitHub Actions で Rails のテストを実行する | Basicinc Enjoy Hacking!
この手の記事が世界の至る所で書かれている気がしますが、シークレットキーを渡す方法を含めて最新の GitHub Actions 情報に対応したものを見つけることができなかったので書きます。 やりたいこと Rspec や Rubocop を GitHub Actions で動かしたい Rails の Environment Credentials を使っているので RAILS_MASTER_KEY を渡したい Dependabot が作成するプルリクにもシークレット RAILS_MASTER_KEY を渡したい 前提 Private repository YAML ファイル まずは GitHub Actions の設定 YAML ファイルです。PostgreSQL と Redis をサービスコンテナとして用意しています。Ruby の実行には ruby/setup-ruby を使っています。ここ
Using feature flags to rewrite every view in our Rails app
Feature flags are an effective method for developing and introducing large changes to an existing codebase without large interruptions to the engineering team. We have over 400 ERB files (views & partials) in our Rails app, and we re-wrote all of them over the course of 9 months using feature flags. Some large projects can be thought of as enhancements, where you start with a set of base functiona
Kaigi on Rails 2022で気になったセッションは？『ふりかえりKaigi on Rails 2022』文字起こしレポート - STORES Product Blog
2022年10月24日に『ふりかえり Kaigi on Rails 2022』と題してイベントを開催しました。イベントでお話した内容を文字起こしレポートでお届けします。 自己紹介 kwappa：そろそろ「ふりかえりKaigi on Rails 2022」を始めます。みなさん、こんにちは。 みんな：こんにちは。 kwappa：Kaigi on Rails、みなさんお疲れ様でした。楽しかったでしょうか？このイベントは、STORES 株式会社のエンジニアを3人もKaigi on Railsの登壇者に送り込むという快挙に成功しましたので、ぜひその登壇者を集めて振り返りながら、また来年も楽しみだなという気持ちになっていくというイベントです。まず、登壇者のみなさんから一言ずつ自己紹介をもらいましょうか。藤村さんからお願いします。 藤村：藤村です。僕はRailsを10年ぐらいやってました。Kaigi o
Ruby on (Guard)Rails
24 October 2024 I’ve worked on a few Ruby apps in my career at varying scales: Homebrew (2009-present): created 2009, I started working on it ~5 months in and was maintainer #3. AllTrails (2012-2013): created 2010, I was employee ~#8 and worked on their (smallish) Ruby on Rails application for ~1.5 years. GitHub (2013-2023): created 2007, I was employee ~#232 and worked on their (huge) Ruby on Rai
hacomono インテグレーションチームに所属している西脇です。社内では htz (ひつじ) と呼ばれており、インテグレーション領域の開発とチームマネージメントを行っています。 先月まではエンタープライズ開発チームとして活動していましたが、エンタープライズのお客様のご要望に多い主に API の公開や、システム連携の仕組みを開発する事が多い事から、今月よりインテグレーションチームとチーム名称を変更し活動をしています。 普段はインテグレーションチームでの開発とチームマネージメントも行いつつも、Rails や RSpec 周りの改善についても行っています。今回は現在 hacomono で抱えている問題と、その問題についての取組について紹介したいと思います。 はじめに hacomono のバックエンドアプリケーションは Ruby on Rails で実装されており、テストは RSpec で記述さ
こんにちは、M-Yamashitaです。 今回の記事は、parallel_testsを使ったテストの並列実行の話です。 執筆のきっかけとして、私が出会ったRailsのリポジトリにて、テストが多くCI完了までの時間が長いことに悩んでいました。一部のテストが遅いということは分かっていましたが、改善には時間がかかるようでした。 そのためCIを高速化するために、改善を進めつつ、別の切り口として何かないかと探していたところ、parallel_testsを見つけました。 このparallel_testsの理解を深めつつ、分かったことを記事として残したいと思い、執筆しました。 この記事で伝えたいこと parallel_testsとは何か？ GitHub Actionsでのparallel_testsの使用 parallel_testsとは 概要 リポジトリから引用します。 Speedup Test::U
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CIを高速化する技術⚡️ - 10X Product Blog
大規模サービスのインフラを全面的にリプレイスした話 - Qiita
ファインディでのGitHub Actions高速化の事例 - Findy Tech Blog
GitHub Actions でテストを並列化して CI 時間を短縮する - Gunosy Tech Blog
RailsのCIのテスト実行時間を 10分から5分に高速化した話 - Findy Tech Blog
Using “modern” Ruby to build a better, faster Homebrew
STORES 予約 をモジュラモノリス化しました！ - STORES Product Blog
hacomono Rails プロダクトの改善の取り組みの話 - hacomono TECH BLOG
GitHub Actions上でparallel_testsを使いテストを並列実行する