Amazon ECSで動かすRailsアプリのDockerfileとGitHub Actionsのビルド設定 - メドピア開発者ブログ
CTO室SREの@sinsokuです。 Dockerイメージのビルドを高速化するため、試行錯誤して分かった知見などをまとめて紹介します。 AWSのインフラ構成 assetsもECSから配信し、CloudFrontで /assets と /packs をキャッシュする構成になっています。 Rails on ECS デプロイ時にassetsが404になる問題 以前の記事に詳細が書かれているため、ここでは問題の紹介だけしておきます。 Rails等のassetsファイルをハッシュ付きで生成し配信するWebアプリケーションの場合、ローリングアップデートを行うと、アップデート時に404エラーが確立で発生してしまいます。 引用: メドピアのECSデプロイ方法の変遷 Dockerfile 実際のDockerfileには業務上のコード、歴史的な残骸などが含まれていたので、綺麗なDockerfileを用意しま
GitHub ActionsのイメージビルドをDockerレイヤキャッシュで高速化（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Build images on GitHub Actions with Docker layer caching — Martian Chronicles, Evil Martians’ team blog 原文公開日: 2021-03-11 著者: progapandist (And[re]y Bar[a]nov)、dragonsmith (Kirill Kuznetsov) サイト: Martian Chronicles, Evil Martians’ team blog -- ニューヨークやロシアを中心に拠点を構えるRuby on Rails開発会社です。良質のブログ記事を多数公開し、多くのgemのスポンサーでもあります。 はじめに: 適切なDockerレイヤキャッシングでGitHub Actionsでイメージを構築する方法
マルチアーキテクチャ対応イメージって何？ どうやって作るか docker manifestコマンドを使う docker buildxコマンドでビルドする buildxとQEMUによるビルドは遅い CIでのビルドを速くしたい アーキテクチャごとに別ジョブでビルドする クロスビルドを活用する buildxに対する雑感 結論 参考 マルチアーキテクチャ対応イメージって何？ 最近ではApple Siliconの登場や、Oracle CloudのAmpere A1 Computeインスタンスなど、ARMアーキテクチャ採用のプロセッサに実際の開発などで触れる機会も増えてきました。 現在広く流通するx86_64に対応するIntelやAMD製のプロセッサと比べて、ARM系のCPUには高い省電力性能などに期待が集まっています。趣味開発レベルの話をすると、Oracle CloudのAlways FreeなA1
以下を実現するGithub Actionsを作る方法を紹介する。 Dockerイメージのビルドには BuildKit を使う Github Actionsのもつキャッシュの仕組みを有効にする DockerイメージのタグにはYYYYMM-(コミットハッシュの頭7桁)のように、コミットごとにユニークになる値を使う mainブランチをビルドする際には、latestタグも付与する このBuildKitとGithub Actionsのキャッシュを組み合わせる方法は、Dockerの公式ドキュメントに、Optimizing the workflow として掲載されている。 これに自分のアレンジを加えた方法として紹介する。 まず、BuildKitを有効にするには、以下のdocker/setup-buildx-action@v1を先に組み込む。 - name: Set up Docker Buildx id
AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ
Serverless development and feedback loopsWith Serverless Dagster Cloud you can develop and deploy Dagster code without setting up either a local development environment or any cloud infrastructure. When you commit a change to GitHub, a GitHub Action builds and deploys your code directly to Dagster Cloud, where you can view and interact with your Dagster objects in the UI. With Dagster Cloud, remo
Shai Hulud Strikes Again (v2)Another wave of Shai-Hulud campaign has hit npm with more than 500 packages and 700+ versions affected. Update: November 26, 2025 PostHog has published a detailed post mortem describing how one of its GitHub Actions workflows was abused as an initial access vector for Shai Hulud v2. An attacker briefly opened a pull request that modified a script executed via pull_requ
Announcing remote cache support in Amazon ECR for BuildKit clients | Amazon Web Services
Containers Announcing remote cache support in Amazon ECR for BuildKit clients This feature will be pre-installed and supported by Docker when version 25.0 is released. This feature is already released in Buildkit versions of 0.12 or later and is available now on Finch versions 0.8 or later. Introduction Amazon Elastic Container Registry (Amazon ECR) is a fully managed container registry that custo
こんにちは！コンサル部のinomaso(@inomasosan)です。 GitHub ActionsのCI/CDはVM上でワークフローが実行されるため、同じイメージであってもキャッシュを利用することなく最初からビルドが実行されます。 ワークフローが実行されるたびに、ベースとなるイメージのダウンロードやファイルコピーが実行されてしまうと、デプロイ時間が伸びてしまうので改善が必要です。 そこで今回は前回作成したGitHub Actionsワークフローに、Dockerレイヤーキャッシュを追加していきます。 どのActionsを追加するか 今回はdocker/build-push-actionというDockerイメージのビルドからプッシュ + キャッシュをいい感じに実行してくれるActionsを利用していきます。 上記ActionsのCacheのドキュメントに、以下のサンプルコードがあるので、こち
使い慣れたプログラミング言語でAWSのインフラ管理をする ～AWS CDKのススメ～ - ABEJA Tech Blog
1. AWS CDKとは 2. AWS CDKを触ってみる 2.1 環境構築 Volta Node.js CDK 2.2. とりあえずLambdaを作成するところまでやってみる 2.2.1. プロジェクト作成 2.2.2. デプロイ用のLambda関数を書く 2.2.3. CDKのStackにLambda関数を記載する 2.2.4. デプロイしてみる 2.2.5. お片付け 2.3. CRUDっぽいAPIをAPI Gatewayで公開してみる 2.3.1. Lambda関数を用意する 2.3.2. CDKを用意する 2.3.3. デプロイして動かしてみる 2.3.4. お片付け 2.3.5. 詰まったところ 3. 感想 We Are Hiring! ABEJAでプロダクト開発をしている平原です。ABEJAアドベントカレンダー2023の6日目の記事です。皆さんはAWSでIaCを利用する時には
今や本番環境に Docker を利用することは当然であり、それに伴い CI/CD パイプラインの中で Docker イメージをビルドするという機会も増えてきたのではないでしょうか🧐 皆さんご存知の通り、 Docker イメージはレイヤー構造になっており、レイヤー単位でキャッシュが行なわれる仕組みとなっております。 変更の無いレイヤーの場合は、以前のキャッシュが利用されることによってイメージのビルドが高速になるわけですが、 GitHub Actions などの CI/CD 環境では VM 上でワークフローが走るためそのままではキャッシュを利用することはできません。 全く変更の無いイメージであったとしてもキャッシュが利用されることはなく、最初から全てビルドされていきます😭 これは継続的デリバリーの観点から問題であり、迅速な開発サイクルに影響を与えてしまいます。。。 そこで今回は皆大好き G
github actionsでdockerビルドする時のキャッシュ方法を比較してみた | SIOS Tech Lab
はじめにこの記事では、github actionsでdockerのbuildをキャッシュする方法を４つ調べたので、その比較を書いていきたいと思います。 結論だけ知りたい方は、こちら ベースコード今回の比較で使うベースのサンプルコードです。 dockerのビルドにはbuild-push-actionを使い、push先にはgithub container registry(ghcr)を利用します。 Dockerfile FROM mcr.microsoft.com/dotnet/sdk:8.0 AS build WORKDIR /myApp COPY ./myApp/myApp ./ RUN dotnet restore RUN dotnet publish -c Release -o /app --no-restore FROM mcr.microsoft.com/dotnet/aspnet
google (Google)
<a href=\"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/google-cloud/thumbnail.png\" rel=\"nofollow\"><img src=\"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/google-cloud/thumbnail.png\" alt=\"Hugging Face x Google Cloud\"></a></p>\n<p><em>Welcome to the official Google organization on Hugging Face!</em></p>\n<p><a href=\"https://hug
Docker ComposeでBuildxを使いGitHub Actionsの実行時間を半分にする | GRIPHONE ENGINEER'S BLOG
この記事は GRIPHONE Advent Calendar 2021 18日目の記事です。 本記事はGitHub Actions上で動作するDocker Compose上のPHPUnitを、actions/cache@v2とBuildxの組み合わせで高速化することを狙った記事です。 PHPerの皆さまなら誰もがお世話になっているだろうDocker、便利ですがイメージのプルやビルドに時間がかかりますよね。開発環境であれば大きな問題にはなりませんが、GitHub ActionsのようなCIでは早く結果を見れるようにしたいものです。 私たちのプロジェクトのGitHub Actions上で動いているPHPUnitも、結果が出るまでに約6分間もかかってしまっていました。これではいかんと、さまざまな仕組みを使い結果的に2分弱まで短縮することができましたので、そのやり方を公開したいと思います。 従来の
Noble Numbat Release Notes Table of Contents Introduction New features in 24.04 LTS Known Issues Official flavours More information Introduction These release notes for Ubuntu 24.04 LTS (Noble Numbat) provide an overview of the release and document the known issues with Ubuntu and its flavours. For details of the changes applied since 24.04, please see the 24.04.2 change summary. Support lifespan
Docker Composeは複数のDockerコンテナを効率的に管理・運用するためのツールです。ローカルでの開発ではもちろん、CI/CD環境でのテスト実行にも利用されます。この記事では、Github Actions上でDocker Composeをキャッシュを効かせて実行する方法について解説します。
Docker Composeは複数のDockerコンテナを効率的に管理・運用するためのツールです。ローカルでの開発ではもちろん、CI/CD環境でのテスト実行にも利用されます。この記事では、Github Actions上でDocker Composeをキャッシュを効かせて実行する方法について解説します。 1. Github ActionsでのDocker Composeの利点 Docker Composeを使用することで、データベースなどの依存サービスを持つアプリケーションのテストが簡単になります。Github Actionsでもこの利点はそのまま活かせます。 今回は、データベースにMySQLを利用し、Go言語で書かれたプログラムをテストするケースを紹介します。 Goのコードとテストは、DBに接続してpingを送るだけの内容となっています。 package main import ( "fm
In-depth of tnpm rapid mode - how we managed to be 10 second faster than pnpm
In-depth of tnpm rapid mode - how we managed to be 10 second faster than pnpm Background As a front-end veteran, I have to point out that the increasing complexity of front-end projects nowadays makes the dependency installation slower and slower. At Alibaba and Ant Group, Engineering Productivity is an important metric for engineers, and the speed of installation of front-end dependencies is a bi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マルチアーキテクチャ対応イメージのビルドをどうにか早くしたかった - ぽよメモ
Github Actionsでのdocker buildでキャッシュを有効にする
Dagster Cloud: 5X Faster Deployments
Shai Hulud Strikes Again (v2) - Socket
GitHub ActionsでDockerレイヤーキャッシュを利用したい | DevelopersIO
GitHub Actions でキャッシュを利用して Docker イメージを高速にビルドする方法
Ubuntu 24.04 LTS (Noble Numbat) Release Notes