「はてラボ」のサービスも利用しているEKSクラスタの構成と運用について - Hatena Developer Blog
プラットフォームチームでSREをしている id:masayosu です。 プラットフォームチームでは、はてなのサービスの基盤となるサービスを開発・運用しています。 さらに、はてラボ（はてなアンテナ、はてな匿名ダイアリーなど）も担当しています。 これらはAmazon EKS（Elastic Kubernetes Service）というマネージドコンテナサービス上で、マルチテナントなクラスタとして運用されています。 EKSは2年前から運用を始め、現在は30近いサービスがクラスタ上で動作しています。 この記事ではEKS周辺の構成と、EKSを維持する運用について紹介します。 EKSクラスタの全体構成 EKS全体の構成は、以下の図のようになっています。 図の登場人物について簡単に説明します。 AWS EKS AWSのAmazon EKSは、マネージドなKubernetesサービスです。 Kubern
GitHub ActionsにAWSクレデンシャル情報を渡さずにTerraformでCI/CDをやってみた
概要 先日、非公式ながらGitHub ActionsのAWSアクションで以下のような面白い機能が発表されました。 よりわかりやすく嚙み砕くとこういうことです。 Circle CIやGitHub ActionsでAWSを使う場合は事前に環境変数にアクセスキーとシークレットキーを登録させてCIを動かしてきましたが、そのためにIAMユーザーを発行して鍵を管理するのは手間だったのでこれはいいアップデートです。 今回はTerraformとGitHub Actionsを組み合わせたCI/CDにこの機能を取り入れてGitHub ActionsにIAMロールを渡してEC2インスタンス構築のCI/CDを実装してみようと思います。 GitHub Actionsを用いたTerraformのCI/CD TerraformでAWSリソースをデプロイする際にGitHub ActionsやCircle CIでCI/CD
AWS AmplifyでのフルスタックアプリケーションのCI/CDパイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ AWS AmplifyでのフルスタックアプリケーションのCI/CDパイプラインの構築 この記事は、Complete guide to full-stack CI/CD workflows with AWS Amplifyを翻訳したものです。 AWS Amplify は、1) 条件付きバックエンドデプロイ、2) ビルド時のaws-exports.js の自動生成、3) 異なるAmplify アプリケーション間でのバックエンドの共有といった３つの新しい機能をAmplify のCI/CD ワークフローに追加しました。これらの機能を使用することで、より柔軟にフルスタックアプリケーションをデプロイすることが可能です。 AWS Amplify は、フルマネージドな CI/CD およびホスティングサービスを提供し、開発者は Git リポジトリを接続するだけ
ECS用のCDパイプラインに対する考察
それでは、1パターンずつ構成を確認していきます。 1. 全部GitHub Actionsでやる GitHub Actionsでパイプライン全体を構築する場合は、以下の図のような構成になります。 ちなみに、GitHubのDeploymentsを使用することで、Slackと組み合わせてのChatOpsや、任意のコミットのデプロイを実行などいろいろと便利になります。 ですが、Deployments APIをパイプラインで利用するには、Actionsのトリガーの条件を変えたり、ECSへのデプロイの成否に応じてAPIを使ってDeploymentのステータスを更新したりする処理が必要になり、少々パイプラインが複雑化してしまいます。 なので、今回の趣旨とちょっとずれているため、各パターンには記載していません。 では、以下で処理を順に説明していきます。 Image Build 図中の Build Imag
「AWS Amplify」がフルスタックなCI/CD機能を新たにローンチ
Amplifyでは、スケーラブルなフルスタックアプリケーションを迅速に構築することができる。フロントエンド開発者は、素早くバックエンドを構成してアプリケーションと接続し、静的なウェブアプリケーションのデプロイを数クリックで実行できる。加えて、AWSコンソールの外部でも、簡単にアプリケーションコンテンツの管理が可能。一般的なウェブフレームワーク（JavaScript、React、Angular、Vue、Next.js）やモバイルプラットフォーム（Android、iOS、React Native、Ionic、Flutter）がサポートされている。 今回のローンチにより、条件付きバックエンドビルド、ビルド時のaws-exports.js自動生成、および複数のフロントエンドブランチ間でバックエンドを再利用するためのよりシンプルなコンソールワークフローをサポートするようになった。 コミットされた「a
Terraform, Dockerfile, KubernetesなどIaCの脆弱な設定をCI/CDで検知する - knqyf263's blog
概要 自分の所属企業であるAqua SecurityがTFsecというOSSを買収しました。 blog.aquasec.com TFsecはどういうツールかというとTerraformの静的解析スキャナーです。Terraformの設定ファイルを渡すことでセキュリティに関する設定ミスを主に検知してくれます。 github.com そのアナウンスに伴い、TFsecは自分が開発している脆弱性スキャナーであるTrivyに統合されました。TrivyではTerraformに加えDockerfileやKubernetesなど、いわゆるInfrastructure as Code（IaC）の設定ミスを検知するマネージドポリシーも提供しています。他にもJSONやYAMLなど一般的なファイルフォーマットに対応しているため自分でポリシーを書くことでそれらの検知にも使えます。CloudFormationやAnsib
GitHub Actionsでデプロイを並列に実行させてCI/CDを高速化してみた | DevelopersIO
開発の規模が大きくなると、CI/CDに時間がかかるようになります。特にクラウド環境を用いた開発で、インフラ構成までコードで管理している場合、差分の確認やインフラサービスの更新で処理の待ち時間が発生します。 各機能やサービスに依存関係がないのであれば、処理を並列に実行することで、デプロイ等にかかる時間を短縮することが出来ます。デプロイ以外にもビルドやテストで時間がかかっているのであれば、機能単位などに分割して並列に実行させるのも良いと思います。 本記事ではAWS環境へのデプロイをGitHub Actionsで並列に実行させてみます。 ワークフローを実装 AWS環境にデプロイするワークフローを実装します。.github/workflowsにYAMLファイルを作成すると、プッシュ時にGitHub Actionsがワークフローを実行します。 以下のワークフローでは、指定したブランチにプッシュされた
AWS CI/CD for Amazon ECS ハンズオンをやってみた | DevelopersIO
概要 AWS CI/CD for Amazon ECS ハンズオンをやってみました。 ハンズオンは下記の3本立てです。3時間程度で終わりました。 サンプルアプリのコンテナイメージ作成 AWS Fargate環境構築とコンテナ実行 CI/CDのパイプライン作成 ハンズオンを進めながら個人的なメモを補足した内容です。実際のハンズオン資料を見ながら作業をすすめ補足資料になればよいなと思っています。 CodeBuild時にDocker Hubのレートリミットに引っかかるとつまづくと思うのでそこの回避方法を載せています。 まず、AWS Fargateとは ハンズオン1 Fargateでコンテナを実行するまでの前準備する内容です。 ハンズオン資料より VPC、ALB作成 ハンズオンの手順ではVPCはCloudFormationで構築します。コードはハンズオン資料内にダウンロードリンクがあります。ALB
AWS Amplify × Next.js で Server Side RenderingのデプロイおよびCI/CD環境を構築する
本記事では、AWS Amplify と Next.js を使って SSR 構成のデプロイ、および CI/CD の構築について考えていきたいと思います。 ※2021/05/19 更新 Amplify Console が SSR ホスティングをサポートしたので記事の内容を更新しました Amplify ConsoleがNext.jsで作成されたアプリのSSRに対応しました🎉 去年9月にAmplify LibrariesがNext.js/Nuxt.jsのSSR対応したので、SSRがAmplifyで完結できるようになります！https://t.co/igYF9Vz61a#AWSAmplifyJP — Jaga@AWS Amplify (@jagaimogmog) May 18, 2021 (参考) https://aws.amazon.com/jp/blogs/mobile/host-a-next
【速報】機械学習にもCI/CDの波が。Amazon SageMaker Pipelines 登場！ #reinvent | DevelopersIO
せーのでございます。 現在AWS re:InventではAndy Jassyのキーノートが行われています。 [随時更新] AWS re:Invent 2020 Keynote で発表された新サービスまとめ #reinvent | Developers.IO ご機嫌いかがでしょうか、豊崎です。 今年もre:Invent 2020 キーノートではたくさんの新サービス/新機能が発表されるものと思います。 本投稿では、AWS re:Invent 2020のキーノートで発表された新サービスの記事をまとめます。 AWS re:Invent 2020では以下5つのキーノートが計画されています。 12/2： Andy Jassy Keynote 12/4： AWS Partner Keynote 12/9： Machine Learning Keynote 12/11： Infrastructure Ke
AWS×コンテナで基本的なDevSecOpsアーキテクチャをデザインしたお話 - How elegant the tech world is...!
はじめに 先日、僕が担当する業務でECS/Fargate利用を前提にDevSecOpsアーキテクチャをデザインし、社内のAWS勉強会にて登壇する機会をいただきました。 本ブログでも内容をかいつまんでご紹介できればと思います。 AWSによらず、コンテナを利用されている方にとって、一つのプラクティス例としてご参考になれば幸いです。 ※コンテナ自体の説明や必要性に関する内容は省略していますm(_ _)m そもそもDevOpsとは？ DevSecOpsの導入意義をお伝えするた前に、まず軽くDevOpsの意義をお伝えします。 ※とは言え、この記事をご訪問されている方にとっては「何をいまさら...」な内容かもしれませんし、ググればDevOps自体の情報はたくさん見つかりますので、重要なポイントのみ述べることにします。 DevOpsとは、一言で述べれば、開発チームと運用チームが協力してビジネス価値を高め
How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub | Amazon Web Services
AWS Security Blog How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub In this post, I’ll show you how to build a continuous integration and continuous delivery (CI/CD) pipeline using AWS Developer Tools, as well as Aqua Security‘s open source container vulnerability scanner, Trivy. You’ll build two Docker images, one with vulnerabilities and one witho
AWS Lambdaのアプリケーション作成を使ってCI/CDパイプラインを一気に構築 - Qiita
AWS Lambdaのアプリケーション作成とは AWS Lambdaのアプリケーション作成機能を利用してLambda関数を作成すると、Lambda関数自体の他に Lambda関数のソースコード等を管理するGitリポジトリとしてCodeCommit CodeCommitのmasterブランチの更新を契機にLambda関数へのデプロイを行うCodePipeline 等々、CI/CDパイプライン実現のためのAWSリソースが同時に作成されます。 Lambda関数自体は手軽に作ったものの、次のステップとしてCI/CD環境を構築するのは腰が重く、ソースの更新はマネジメントコンソール上で実施している・・・といったケースを改善するアプローチとして、このようなCI/CD環境をセットで構築する機能がリリースされたそうです。 Lambdaのマネジメントコンソール画面では、これらAWSリソースをアプリケーションと
AWSでSpinnakerを構築しよう[手順解説] - Qiita
概要 Spinnakerとは、NetflixとGoogleを中心に開発されている、マルチクラウドに対応した継続的デリバリー(CD)ツールです。カナリアリリースやB/Gデプロイ、承認制デプロイといった仕組みをカンタンに実現できるそうです。 業務で調査する機会を頂いたので試してみました。 今回はAWS上でSpinnakerを試してみたいという方向けに、Spinnakerサーバを構築する手順を解説します。AWSではSpinnakerのQuickstartが用意されていますが、あまり保守されておらず手順通りに実行しても正常に動作しません（少なくとも私が確認した限りでは…）。そこで、Spinnaker公式のドキュメント「Set up Spinnaker」を利用します。しかし、こちらもひとクセある&ネット上にAWS×Spinnakerの事例がほとんどない状態で苦労します（しました）。これから試したいと
![AWSでSpinnakerを構築しよう[手順解説] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad4af83789c6407e79ec3b35f73c0776bc794ecd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9QVdTJUUzJTgxJUE3U3Bpbm5ha2VyJUUzJTgyJTkyJUU2JUE3JThCJUU3JUFGJTg5JUUzJTgxJTk3JUUzJTgyJTg4JUUzJTgxJTg2JTVCJUU2JTg5JThCJUU5JUEwJTg2JUU4JUE3JUEzJUU4JUFBJUFDJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz05YTM5NzZlYjlkOWM1Yjk1M2QyZjYxMWM5ODE2MzEwYw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrdXdhbmEta2ImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTM0ZmM3MDJhYjM5ZmE2MGYwZTlmY2E1MTcwYjNlYTY4%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D5794febc8cf2c94ffe98e65597322c51)
Elastic Beanstalk の Platform を Ruby から Docker へ移行した話 - SmartHR Tech Blog
こんにちは！ SmartHRエンジニアの @tei-k です。 SmartHR ではインフラに AWS の Elastic Beanstalk (以降 EB ) を使っています。 Rails アプリですので、去年までは Ruby Platform 上で動いたのですが、今年から Docker Platform へ切り替えました。 ここでは移行するまでの工夫をご紹介できればと思います。 EB の概要 EB は、インフラストラクチャーを意識せず簡単にアプリケーションの構築、デプロイ、Auto Scaling などをマネジードしてくれる PaaS となります。 Ruby、Go など様々な言語や Docker にも対応しているため、すべての言語のアプリを EB 上で動かせるでしょう！ 詳細は公式ドキュメントご参考下さい。 移行の背景 Ruby Platform には以下の制限や要望がありました。 最
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BacklogのGitにCI/CDを導入する方法（AWS CodePipeline & TypeScript編） 
デプロイ頻度を10倍にした、ブランチ戦略とGitHub Actions on AWS ECS
[GitHubとクラスメソッドの勉強会]DevOpsとAWSについてお話しました。資料をアップします。 | DevelopersIO![[GitHubとクラスメソッドの勉強会]DevOpsとAWSについてお話しました。資料をアップします。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/faf3334bbe958772b09453f1a088d21cca899bfd/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fdevops.png)