タスク数100超え！モノレポとエスプレスタックで支えるECS管理の仕組み（ecspresso/ecschedule） - ウェルスナビ開発者ブログ
ECSの運用で発生した悩み リポジトリ分割と採用ツール 採用したツール モノレポ管理 jsonnetの利用イメージ パイプラインの実装 差分検出 反映の高速化 crontabのJST表記対応 ecspresso verifyによるチェック OPAによるポリシーチェック さいごに こんにちは、インフラエンジニアの和田です。 弊社は、WEBアプリケーションおよびバッチ処理の実行基盤として Amazon Elastic Container Service（以下「ECS」と呼ぶ） を採用しています。現在では複数チームの開発者が 100 を超えるタスク定義を運用する規模にまで拡大しています。この記事では、増え続けるECS定義をモノレポとエスプレスタック（ecspresso/ecschedule）で管理した事例を紹介します。 ECSの運用で発生した悩み ECSを利用する開発者やアプリケーション数が増え
スタディサプリENGLISHの基盤をECSからEKSに移行しました | Recruit Tech Blog
こんにちは、スタディサプリ ENGLISH SREグループの大島です。 オンライン英語学習サービスであるスタディサプリ ENGLISHは2015年10月のリリース1)当時は英語サプリという名前でリリースしていましたから5年が経ち、おかげさまでサービスを拡充させることができています。リリース当初からインフラにはコンテナを採用し、長い間AWSのコンテナオーケストレーションサービスのAmazon Elastic Container Service（以下、ECS）で運用してきましたが、この度ECSからAmazon Elastic Kubernetes Service（以下、EKS）に移行しました。 今回の記事では、その歴史の変遷となぜEKSにしたのかというところを書いていきたいと思います。 コンテナと歩んできた5年間 まず、ECSからEKSに移行しようと思ったきっかけの前に、インフラの歴史を少し振
[アップデート]AWS CLI v2 で $ aws ecr get-login を使うときの注意点 | DevelopersIO
大阪オフィスのYui(@MayForBlue)です。 つい昨日、Amazon ECRを触っていたら、AWS CLI v1 → v2 の移行で使用できなくなっているコマンドがあることを知ったのでその話です。 $ aws ecr get-login-password を使う 結論から言うと、ECRにログインするために必要な以下のコマンドがv2で使用できなくなっていました。 $ aws ecr get-login 公式のリファレンスを確認すると、以下のページに記載がありました。 AWS CLI version 2 replaces ecr get-login with ecr get-login-password このコマンドをv2で使用すると、以下のように、コマンドが使用できない旨のメッセージが表示されます。 usage: aws [options] <command> <subcommand
![[アップデート]AWS CLI v2 で $ aws ecr get-login を使うときの注意点 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9a75a31ee9e351dc8932fa012e81b7f0ea722428/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ec2-container-registry.png)
FireLens を利用した Fargate タスクのログルーティング - def yasuharu519(self):
こんにちはこんにちは。FOLIO アドベントカレンダー 19日目の記事になります。昨日は @matsu_chara さんの ScaleCheck: A Single-Machine Approach for Discovering Scalability Bugs in Large Distributed Systemsを読んだ - だいたいよくわからないブログでした。 今回は AWS Fargate で出力したログが FireLens でだいぶ楽に管理できるようになったので、そのあたりの話をします。 これまでの Fargate のログ出力 Fargate ではログドライバーとして CloudWatch Logs しかサポートされていませんでした。そのため、Fargate タスクから出たログに対してフィルタリングなどの処理を行いたい場合、CloudWatch Logs の サブスクリプショ
Amazon ECS Capacity Provider と Fargate Spot と ECS Cluster Auto Scaling を整理する - 平常運転
ラスベガス帰りの id:astj です。 今年も re:Invent ではたくさんのサービスリリース/アップデートがあって目が回るような思いでした。現地にいたからキャッチアップできた中身もあれば、しれっとリリースされていて現地でセッションを聞いてるだけだと気づきそびれた中身もあって物量に圧倒されております。 さて、本稿では2019年の re:Invent で発表された ECS 関連のリリースのうち、以下の3つを中心に整理してみようと思います。 Amazon ECS Capacity Provider AWS Fargate Spot AWS ECS Cluster Auto Scaling 遅くなりましたが（ダブルミーニング）、このエントリは はてなエンジニア Advent Calendar 2019 の12/9分のエントリです。ラスベガス時間ではまだ 12/9 ではないでしょうか。そうい
SRE Lounge #11 で「安定・安価なECS auto scalingを目指して」を発表しました
SRE Lounge #11 で Repro で行っている ECS の auto scaling について発表しました。ECS autoscaler で工夫している点についてがメインですが、一般的な auto scaling にも使える知見もあるかと思います。 補足 時間の都合上、発表で言及しなかったこともあるので補足です。 ECS_ENABLE_SPOT_INSTANCE_DRAINING について 発表でも軽く触れましたが、ecs-agent 1.32.0 以降を使っている場合、ECS_ENABLE_SPOT_INSTANCE_DRAINING パラメータに true を指定することで、spot instance の interruption warning (notice) を受け取った場合に勝手に draining 状態にしてくれます。 cf. Amazon ECS support
懐かしのツイートと振り返るAWSコンテナサービスアップデート - 2019年上半期編 - Speaker Deck
Talked at JAWS-UG コンテナ 支部 #15.
[AWS Black Belt Online Seminar] Amazon ECS Deep Dive 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon ECS Deep Dive 資料及び QA 公開 先日 (2019/7/31) 開催しました AWS Black Belt Online Seminar「Amazon ECS Deep Dive」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190731 Black Belt Online Seminar Amazon ECS Deep Dive AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Fargateのタスクスケジューリングにおいても、AWS Secrets Managerを利用できるのでしょうか？（以前検証した時、タスクスケジューリングではAWS Secrets Manager
![[AWS Black Belt Online Seminar] Amazon ECS Deep Dive 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/546fde933aa8aabe0f5b32fd007fe4287063fe3e/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2019%2F08%2F09%2Fthumbnail_ECS_hama0801.png)
ECSとGoとDocker multistage build - Speee DEVELOPER BLOG
Speeeエンジニアの義田（@yoppiblog）です。SpeeeではUZOUというアドネットワークである広告配信システムを開発・運用しています。 今回は広告配信システムを裏で支えるバッチのDocker imageの作り方のtipsをお届けしようと思います。 GoのバッチをECSで動かす UZOUのシステムは広範囲に渡ってGoを採用しており、広告配信サーバや配信する広告を選定するバッチもGoで書いて運用しています。 UZOUを導入されるメディアさんが増えるにつれて、処理するデータ量が段階的に増加していくシステムなので、常にバッチサーバを稼働させ続けるよりは、バッチ動作時に必要な台数だけ起動して実行するほうがコストパフォーマンスが良くメンテナンスも不要なため、ECS(Amazon EC2 Container Service)で動作させています。 GoはクロスコンパイルをGoのtool cha
ECSを使ってPR毎に確認環境を構築する社内ツールをOSSで開発してます！ - Speee DEVELOPER BLOG
Speee開発基盤部、兼ヌリカエエンジニアの森岡です。 今回は、ECSを使ってPR毎に確認環境を構築する社内ツールであるwebapp-revieee をOSSとして公開しましたので、そのご紹介をさせて頂きます。 作ったもの PRを作ると、そのPRに対応した確認環境がECS上に構築され、PRに構築した確認環境にアクセスするためのURLがコメントされます。 ここで構築された確認環境は、PRがcloseされると一緒に閉じられます。主にデザイナの画面確認や、制作物のPOレビューなどが捗ります。 この社内ツールは一つのプロダクトだけでなく、社内のすべてのプロダクトの確認環境を用意することが可能です。 この社内ツールは、Webapp Revieeeという名前で開発されました。 作った理由 今回このような社内ツールを作った背景として、確認環境の構築に時間的、金銭的コストを掛けたくない。 という理由があり
Docker with ECS × Railsを実現させるために考えたこと（デプロイ編） - Clueit Developersブログ
こんにちは。エンジニアの志村です。 cluex-developers.hateblo.jp の続きとなります。 今回はタイトル通り、デプロイ辺りを執筆していければと思います。 Blue-Green Deployment Blue-Green Deploymentはマーチン・ファウラー氏が提唱したデプロイ方式です。 blue, greenとほぼ同じ本番環境を2系統用意してデプロイを行います。このデプロイ方式ですが、 ダウンタイムの極小化 ロールバックが容易 という大きな2つの利点があります。 Dockerizeへのモチベーションとして前回の記事にも書いたのですが、徐々にドッグフーディング環境・本番環境で差異が出てきました。 そのような状況だと、ドッグフーディングでは正しく動作したのに本番環境では意図した挙動とは違うという場面も出てきます。 上記のようなトラブルがあった際に今までのIn pla
構築でつまづかないためのECS+ALB構成ベストプラクティス(2016年版) | 技術畑 | 情報畑でつかまえて
構築でつまづかないためのECS+ALB構成ベストプラクティス(2016年版) 本記事ではECS-optimized AMIを使った構築を前提とし、つまずきやすいポイントにフォーカスしてECS+ALB構成でのベストプラクティスをご紹介します。
サクっとAmazon ECSのクラスタを構築するためのterraformの設定 - Qiita
Amazon ECSはコンテナの管理をしてくれるサービスという体になってますが、実際には普通のEC2インスタンスの上で動作します。 コンピューティングリソースは、基本的にEC2のAuto Scaling Groupで管理をします。 別にAMIから手動で立てても動作しますが、落ちた時の再起動とかリソースのサイズを管理する上ではASの方が便利でしょう。 一応、CloudFormationのスニペットみたいなのはあったりするんですが、イマイチCloudFormationが好きではないのでECSのクラスタを構築してterraformで管理するための設定を準備しました。 参考までにまとめておきます。 まず、起動設定を管理できるterraformモジュールを作る。 variable "name" {} variable "image_id" { default = "ami-010ed160" } v
Service Discovery for Amazon ECS Using DNS | Amazon Web Services
AWS Compute Blog Service Discovery for Amazon ECS Using DNS My colleagues Peter Dalbhanjan and Javier Ros sent a nice guest post that describes DNS-based service discovery for Amazon ECS. —— Containers are generating a lot of interest due to benefits such as portability and speed of deployment. Containers are also a good fit for microservices as they offer a thin, modular, self-contained environme
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ECS×Fargateで実現する運用コストほぼ0なコンテナ運用の仕組み/ ecs fargate low cost operation
Tori Hara on Twitter: "Amazon ECS ユーザーのみなさまお待たせしました！！ スポットインスタンスの中断通知後のインスタンス Draining を ECS によって自動的に行えるようになりました🎉㊗️👏 / "Amazon ECS suppo… https://t.co/aPBUCJuer4"
Containers + EC2 Spot: 特性と実装パターンに学ぶ低コスト & 高可用アーキテクチャ / Practical Guide for Amazon EC2 Spot with Containers
Amazon ECS at re:Invent 2016 - Speaker Deck
Amazon Linuxがコンテナ化されたので、Macで動かしてみた。 - Qiita
Robust application design on AWS —an advanced guide to using queues in the cloud.