この記事はウィルゲート Advent Calender 2019 6 日目の記事です！ 前回は @MayaGalaxy の「キーキャップの本を技術書典に出した話」でした。 はじめに 最近業務のことよりスノーボードのことが頭から離れない @int_sorarinu です。 WEB アプリケーションを各サーバ群にデプロイする手法というものは数え切れないほど沢山ありますが、今回は AWS の CodePipeline というツールを使ってデプロイを行ってみました。 AWS CodePipeline とは AWS が提供している完全マネージド型の継続的デリバリーサービスで、定義したリリースモデルに基づき、コードチェンジがあった場合のフェーズの構築、テスト、デプロイを自動化してくれる優れたツールです。 詳しくは AWS 公式をご覧ください。 https://aws.amazon.com/jp/cod

タイトルははじめてのCodePiplineでもよかったです。 cloudformationでは初回はWebhookが失敗するのでawscliでTorken差し変えが要るようでした。 全体的に初回だけ必要な作業で、次回からはpushするだけで動くように。 SourceはGithubでCodeBuildでビルドしたアーティファクトをecrに置いてそれをECSにデプロイするという流れのPiplineです。 ・awsのクレデンシャルを用意する # vi ~/.aws/config [profile myaccount] output = json region = ap-northeast-1 # vi ~/.aws/credentials [myaccount] aws_access_key_id = ************** aws_secret_access_key = ********

きっかけ 前回記事でAWS Copilotを触ってみて色々便利だったので、Copilot Pipelineにも手を出してみようと思いました。 が、そもそもCodePipelineを触ったことがなかったので、まずこちらを触ってみることにしました。 目標構成 ローカルで編集したindex.htmlファイルをGitHubにプッシュするだけで、自動でEC2内のindex.htmlファイルを更新し即座に公開内容に反映したい。 準備 EC2インスタンスの作成 CodeDeployで使うEC2インスタンスを作成しておきます。以下のものが必要になります。 以下の条件のVPC インターネットゲートウェイがアタッチされている 送信先：0.0.0.0/0、ターゲット：上記のインターネットゲートウェイのルートがルートテーブルに設定されている 以下の条件のロール 一般的なユースケース EC2に、AWSCodeDep

黒川さんの動画でCodeDeploy、CodePipelineを学んだので 活字でもハンズオン出来るように記事として書き起こしてみる。 参照：【はじめてのCI/CD】AWSでやってみるDevOps最初の一歩、CodeDeploy、CodePipelineを使った自動デプロイのハンズオン https://www.youtube.com/watch?v=8mPm7jolnVk&t=6s AWSのCodeシリーズの解説： コードをサーバまで運んでくれるので便利 CodeDeploy、CodePipeline github→codedeploy→internetgateway→ec2 このサービスを使うには３つの設定が必要。 ・AWSのVPC内の設定 ・githubクライアント側の設定 ・code系の設定 AWSのVPC内の設定 ・ルートテーブルにインターネットゲートウェイへのルートテーブルを設定

今回の記事では、ECSの設定からバッチ実行までおこないます。 ▼前回の記事はこちら AWS ECS（fargate)+ECR　コンテナでバッチをつくる①　※CodeBuildの設定からECRの設定まで 構成図 ①ECSの設定１ 今回はバッチ作成ですので下記3つの設定が必要です。 ここでは、クラスター/タスク定義の設定を行います。 ・クラスター ・タスク定義（実行するコンテナの設定・複数コンテナ指定可） ・タスクのスケジューリング ※サービスは使用しません。 サービスは常時起動のコンテナ用と認識しております。 例えば、指定数のコンテナを常時起動し、エラーなどで コンテナが終了した場合に自動で指定数までコンテナを立ち上げるなど。 1. クラスターの作成 2. タスク定義の作成 イメージにはECRのImage URIを設定する。（※前回記事の一番下参照） タスクメモリとCPUには、コンテナ実行に

デプロイの自動化 CodeDeployを使用してのデプロイをやってみましたが、CodeDeploy単体では手作業でコードのアップやデプロイ実行をしなくてはいけません。 手間とミスをなくす為、今回は CodeCommit＋CodeDeploy＋CodePipline を使用してデプロイを自動化してみました。 設定 AWSコンソール のCodeCommitからリポジトリを作成 リポジトリにアクセスするための認証情報作成。 ※「AWSコンソール → IAM → ユーザー → ユーザー選択 → 認証情報」 認証方法はsshとhttpsの2パターン、使用する方の認証を設定する。 アプリケーション作成とデプロイグループの作成を行います。 CodeDeploy設定例 ※デプロイはCodePipelineで行うので、アプリケーションとデプロイグループの作成まで行います CodePipeline AWSコン

目的 cloudFormationでCodebuildを作成するときに、指定できるDocekerイメージが何かを調べたのでメモ。 { "platforms": [ { "platform": "AMAZON_LINUX", "languages": [ { "language": "JAVA", "images": [ { "name": "aws/codebuild/eb-java-7-amazonlinux-64:2.1.3", "description": "AWS ElasticBeanstalk - Java 7 Running on Amazon Linux 64bit v2.1.3", "versions": [ "aws/codebuild/eb-java-7-amazonlinux-64:2.1.3-1.0.0" ] }, { "name": "aws/codebuild

TL;DR ビルドごとに特有の情報としては、Build ID や Build ARN ぐらい。 CodePipelineトリガであっても、その情報とかは含まれない。Build ARNを指定してAPIを呼び出しても、こちらにも含まれない。 AWS_CONTAINER_CREDENTIALS_RELATIVE_URI=/v2/credentials/... AWS_DEFAULT_REGION=us-west-2 AWS_REGION=us-west-2 CODEBUILD_AGENT_ENV_AWS_CONTAINER_CREDENTIALS_RELATIVE_URI=/v2/credentials/... CODEBUILD_AGENT_ENV_BUNDLE_APP_CONFIG=/usr/local/bundle CODEBUILD_AGENT_ENV_CODEBUILD_BUILD_A

はじめに ECRに保存しているイメージをCodebuildで使用したかったので、その設定をTerraformでやってみました。 Terraformを使用したからといって特別なことをやっているわけではありませんが、備忘録として。 環境 Terraform : 0.12.29 Terraform aws provider : 3.3.0 ECRリポジトリ 以下のようなECRリポジトリを作成します。 このリポジトリにCodebuildで動かすイメージを保存していきます。 resource "aws_ecr_repository" "example" { name = "example" image_tag_mutability = "MUTABLE" image_scanning_configuration { scan_on_push = true } } 公式のガイドを参考に、Codebui

CodePipeline, CodeBuildに関して、自分なりの疑問を実際に試してみたメモ この記事で使っている CodePipeline, CodeBuild は codepipeline-cdkで構築した。 環境変数 CodeBuildの実行環境で定義されている環境変数について 公式ドキュメントビルド環境の環境変数 - AWS CodeBuildにも記載はされている。 ただ、実際にはドキュメント以外にも環境変数は定義されている。 独立したCodeBuildの場合 実行環境にDocker イメージaws/codebuild/standard:4.0を選択した場合の結果。 ドキュメントに記載さている環境変数の他に各種言語、ツールのバージョンの環境変数が定義されていることがわかる。 Githubから直接ソースを取ってくるのでそのリポジトリを示す CODEBUILD_SOURCE_REPO_

現在作成中のAlexaスキルではAWSのCodeBuildを利用しています。ただ、ビルドを試すのに毎回GitHubのリポジトリにPushしないといけないため、ローカルで試すことができなかと思い、調べた結果を共有します。 実行環境 OS : macOS Mojave (v10.14.5) Docker : Engine: 18.09.2 ビルド用の Docker イメージ作成 GitHubで公開されているDockerfileを取得し、そこからイメージを作成 $ git clone https://github.com/aws/aws-codebuild-docker-images.git $ cd aws-codebuild-docker-images $ cd ubuntu/standard/2.0 $ docker build -t aws/codebuild/standard:2.0

AWS Containers Advent Calendar 2020 の 1 日目の記事です。 突然ですが、AWS CodeBuild というサービスをご存知でしょうか。 AWS CodeBuild は、完全マネージド型のビルドサービスです。 AWS でコンテナワークロードのための CI/CD パイプラインを構築する際、コンテナイメージのビルドに AWS CodeBuild を利用している方も多いのではないかと思います。 （つまり、AWS CodeBuild もコンテナファミリー？の一員ですね！） 本記事では、この AWS CodeBuild について Tips を紹介したいと思います。 ビルド環境に利用する Docker イメージ AWS CodeBuild では、ビルドプロジェクトに設定された Docker イメージを利用してビルド環境が作成されます。 ビルド環境の Docker イ

本当に今更だけどCodeBuildを使って、GitHubリポジトリのDockerfileをビルド&イメージプッシュ & Kubernetesにデプロイする設定を入れたので知見をメモする。 GitHubと連携できる てっきりリポジトリにコミットされたらCodeBuildを実行〜みたいな時、CodeCommitじゃないとできないのかなと思っていたのですが、GitHubでもできました。 CodeBuildでDockerイメージをビルド(dockerコマンドの実行)する際には、CodeBuildオリジナルのDockerイメージを使わなければならない "特権付与"にチェックを入れても、CodeBuild用のaws/codebuild/dockerイメージでなければdockerコマンドは使えません。 CodeBuildコンテナでのRubyインストール方法 前述の理由によりRubyを使いたい時、Ruby

やること ※この記事には画像がなく痩せた大地のようなのでCodeBuildでツラまった時に見るとかがいい マネージドイメージ内でmvnビルド、生成されたjarをS3にアップロード AWS CodeBuildの使用開始 カスタムイメージ(自作dockerイメージ)内でmvnビルド、生成されたjarをS3にアップロード マネージドイメージ内でdockerイメージをビルド、ビルドしたイメージをECRにpush カスタムイメージ内でdockerイメージをビルド、ビルドしたイメージをECRにpush 最終的にやりたかった事は自前のdockerイメージ内でビルドして、そのイメージをECRにpushすること 詰まった時の問題点を特定しやすくするために段階を分割してる 1でCodeBuildの設定などを把握、2でカスタムイメージ利用、3でdockerイメージビルドからpush、4で2と3を合わせる Cod

こんにちわ。Patheeの廣瀬です ECSのデプロイ、CodePipeline+CodeBuildのパターンはよく見るのですが、 コネヒトさんのCodeBuildを使ったECSへのコンテナデプロイで、 ecs-deployを使えばCodeBuildだけで完結できるのが良さげだなと思って取り入れてみました 環境 Github AWS ECS (Fargate) ECR CodeBuild CodeBuild設定 イメージ: aws/codebuild/amazonlinux2-x86_64-standard:1.0 ウェブフックイベント: PUSH 条件: タグ (^refs/tags/releaseなど) buildspec.yml version: 0.2 phases: install: runtime-versions: docker: 18 commands: ## ecs-dep

2017-06-22のアップデートでCodeBuildのビルド結果をCloudWatchEventsで捕捉できるようになりました。 そのままSNSで通知してもいいのですが、LambdaからIncoming Webhookを使ってSlackに通知してみようと思います。 事前準備 以下のことはすでに済んでいる前提で話を進めます。 CodeBuildのプロジェクト作成 SlackのIncoming Webhookの設定(URL発行) 実装 さくっと済ませたいのでServerlessフレームワークを使います。 serverless.yml設定 まあこいつを見てもらおうか service: notify-build-result provider: name: aws runtime: nodejs6.10 timeout: 180 stage: ${opt:stage, self:custom.d

AWS Codebuildとは？ その名の通り、CodeをBuildできるサービス ソースコードをコンパイルし、テストを実行し、 デプロイ可能なソフトウェアパッケージを作成できる完全マネージド型のビルドサービス。 CodeBuild は連続的にスケールされ、複数のビルドが同時に処理されるので、 ビルドが待機状態でキュー内に残されることがありません 特徴 ビルドサーバーなしでビルド可能 アップデート、管理が不要 自動でスケールされるので、並列ビルドが可能（待ち時間なし） AWSの他サービス EC2 S3 CodePipeline Lambda などとの連携が容易 CodePipeline と連携すれば、テスト→リリースまでを自動化できる 既存のJenkinsと連携ができ、ビルド処理部分だけを CodeBuild に置き換えも可能 → JenkinsのUIやユーザ管理をそのまま使い続けられるメ

株式会社LITALICOでエンジニアをやっております@Takuan_Oishiiです。 この記事は『LITALICO Advent Calendar 2016』23日目の記事です. 23日目はAWS re:Invent 2016で発表されたAWS CodeBuildでRailsのテストを実行してもらう話をお届けします🎁 CIツールを検討しているRails開発者の方の参考になれば幸いです. はじめに テスト, してますか? セコム, してますか? LITALICOではCircleCIを使ってRailsアプリに対してRSpecで記述したテストを実行しています. GitHubにブランチをpushする, あるいはpull requestをマージすると自動でCircleCIが該当ブランチのテストを実行してくれるようにしています. 最近はコードレビューの負担減などを目的に, プルリクを小さく出すこと

マニュアル見ろよ、という話しではあるんだが。 私はなんか突っかかるまでマニュアル読まないタイプの人なので。 やりたかったこと マネージドイメージ内でカスタムイメージをビルド。ビルドしたイメージをECRにPush カスタムイメージ内で、golangのpackeageをビルド。ビルドした生成物をS3にアップロード カスタムイメージの作成まで DOWNLOAD_SOURCEでi/o timeout for primary source GitHubへのoAuth設定をCodeBuildから行うと、こんなエラーが出る。GitHub側で問題おきていることは考えにくいので、CodeBuild側の問題。 CLIENT_ERROR: Get https://github.com/XXXXXXXXXXX/sample.git/info/refs?service=git-upload-pack: dial t

概要 (2019年4月18日 更新) OracleJDKをOpenJDKに変更しました。 Gradle5.xだとビルドエラーになる場合があるので、Gradle4.10.3に設定しました。 DockerHubにコンテナイメージを配置しました。こちらからどうぞ。 Spring Boot2.xでGradleを使う場合は、Gradle4.x以上が必要となる。 AWSで用意されているJavaのDockerイメージは、Apache Maven 3.3.3、Apache Ant 1.9.6、Gradle 2.7となっているため、gradleをアップデートインストールしないと、ビルドが出来ない。 毎回インストールしても良いのだが、5分ほど時間がかかってしまう。（後述） そのため、独自のDockerイメージを使ってビルドにチャレンジしてみました。 AWS CodeBuild に用意されている Docker