Amazon ECS タスクの停止理由 (エラー内容) を CloudWatch Logs に保存する方法とその分析をしてみた | DevelopersIO
はじめに AWS Fargateのタスクの停止理由を確認する方法が分からず詰まったため、今回記事を書きました。 ECSのコンソール上では、タスクが停止してから1時間以内であれば、以下のように停止理由であるエラー内容を確認できます。 ただし、上記のエラーは、１時間経過すると、以下のように見られなくなります。 過去にさかのぼって確認したい場合、CloudWatch logsなどに保存する必要があります。 今回は、ECSタスクの停止理由をさかのぼって確認するために、タスクが停止になった時のイベント情報をCloudWatch logsに保存する方法について、解説します。 構成図 構成図は、下記です。 汎用性がありますので、CloudFormationで、イベントルールとロググループを作成します。 流れとしては、ECSタスクが停止した時に、EventBridgeがトリガーとなり、ECSタスクの停止ロ
FiNC Technologies（以下FiNC）で SREグループのマネージャーをしている@ryok6tです。 今回は Infrastructure as Code（IaC）のお話です。 今や IaC、すなわちインフラの構成管理はコードで、というのが当たり前になっています。 しかし、以前のFiNC では全くインフラがコード管理されておらず、約50のマイクロサービスが持つ数千のAWSリソースが全て手動で作成された状態でした。 これにより生じた多くの問題に対処するため、Terraformを導入し、現在ではマイクロサービスごとに独立したstateを持った状態でコード管理されています。 この記事では、 既にある大量のインフラを、後から Terraform 管理下に入れた方法マイクロサービス x Terraform の運用Terraform の CI の運用などについて書いていきます。 *今回は「
自己紹介 SRE歴2年目、普段はAWS/GCPなどのインフラとrailsでサーバサイドをやっています。 たまに、GolangとDart書いてます。 基本的になんでも屋さん。 やりたいこと みなさん、AWS環境でsshはどうしていますか？？ ほとんどの方はEC2で作って、そこにsshの公開鍵を置いたりしているはずです。 最近だと、Instance ConnectやSession Managerなど公開鍵を登録せずにシェルに入れる仕組みが増えてきました。 ただ、ほとんどの人がssh用にサーバは立ち上げた状態のはずです。 セキュリティグループなどを適切に設定していれば問題ありませんが、なんか怖い。 そんな人のために、必要なときだけ立ち上げて接続できるコンテナ環境を今回は作っていきます やること 今回は、Fargateを使ってssh環境を作ってみます。 Fargateを使ってsshする場合、以下が
Djangoの非同期タスク処理用ECS Serviceをスケールインから保護するためにECS Task Protectionを使う - Nealle Developer's Blog
はじめに SREの大木 ( @2357gi )です。最近美味しいお茶漬けを探しています。 今回は非同期タスクの処理を行うECS Serviceのオートスケーリングをいい感じにした話です。 非同期タスクが大量に積まれた際に、それを実行するworkerを柔軟にスケールアウトさせたいですよね。ただ、スケールインする際に処理中のタスクどうするの？中断されちゃったりしない？みたいな課題があると思います。 そこに対して、ECS Task Protectionを使用することによりいい感じにすることができたので紹介したいと思います。 関連技術はだいたい以下の通りです。 Django Celery ECS Service Auto Scaling (ECS Service) 背景 Park DirectのバックエンドはAPIを提供するbackend-api(Django)と非同期タスクの処理をおこなうwor
Amazon EFS を利用した Amazon ECS on AWS Fargate での WordPress の実行 | Amazon Web Services
Amazon Web Services ブログ Amazon EFS を利用した Amazon ECS on AWS Fargate での WordPress の実行 この記事は、Running WordPress on Amazon ECS on AWS Fargate with Amazon EFS を翻訳したものです。 私が初めてウェブサイトを作ったのは 1997 年のことでした。それは当時好きだったミュージシャンのファンサイトでした。ウェブサイトの作り方はよく知らなかったのですが、自分の音楽の好みを (誰が聞いているかわかりませんが) World Wide Web に伝えたいという熱い思いがありました。学校のコンピューターラボにあったフロッピーディスク付きの PC は MS-DOS を搭載しており、ラボの先生は Basic なトレーニングしか受けていなかったので、私の「Web 開発
はじめに 最近、業務でECS、GitLab CI/CDを用いてCI/CDパイプラインを構築しました。 しかし、構築当初、非常に大きな問題に直面していました。それは、デプロイまでの時間が非常に遅いことです。 当初は、デプロイまでにかかる時間がテスト（CI）を除いても30分以上かかっており、非常に遅かったです。 しかし現在、改良に改良を重ね、ビルド、デプロイまでにかかる時間が7分ほどまでに短縮することができました。この記事では、具体的にどういった方法で早くしたのかを紹介します。 アプリケーションの構成とデプロイの流れ まず初めに、アプリケーションのざっくりとした構成と、デプロイまでの一連の流れを説明します。 アプリケーションの構成は主に、フロントエンドがVue.js、バックエンドはRuby on Railsで作られています。 デプロイまでの流れは以下の通りです。以下は非常に時間が遅かった、構築
システム部の福原と申します。 前回に引き続き、あーだこーだしている日常を並べていきます。 ご笑覧あれー。 プロローグ：バッチをECSで動かしたい 同僚氏：というわけで、このプロジェクトはPythonのバッチをDockerで動かしたいです。環境の方よろしくおねがいします。 、、、ふむっ。バッチか。。。 REST APIをSpring Bootで立てるってのはもうやったことあるが、これは定期的単発実行の処理だ。 どうしよう？ うちらはAmazon Elastic Container Service (ECS) を使っている。 バッチ実行はこれ↓に従えばよさそうだ。 クラシック Amazon ECS コンソールを使用してスタンドアロンタスクを実行する方法 そういえば弊社の場合バッチ処理は、Hinemosに実行管理させる決まりだ。 HinemosからECSタスクを起動するのどうしよう？ うーむ。な
FireLens(Fluent Bit)におけるタグの仕組みについて調査してみた | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です! 皆さんはECS(Fargate)のログドライバーにFireLensを用いた事はありますでしょうか？ FireLensを使用する事で、カスタマイズ次第で柔軟なコンテナログルーティングを実現できるため、非常に便利です。 しかし実際に触ってみると、ログルーティング設定のベースとなっているFluent Bitのタグの仕組みが、思ったより難しいと感じるかもしれません。(私も理解するのに結構苦労してます。。。) そこで今回は、Fluent Bitにおけるタグの仕組みの観点から、FireLensを用いたログルーティングの設定方法についてまとめてみたいと思います！ Fluent Bitにおけるタグとは そもそもFluent Bitにおけるタグとは、どのようなものでしょうか？ Fluent Bitの公式ドキュメントでは、以下の通り説明があります。
Docker Community All-Hands の発表メモ(2020年12月10日開催） - Qiita
この記事は Docker Advent Calendar 2020 記事として、10日目 @hoto17296 さんの Docker Compose の設定は上書きできる に続き、Docker All-Hands について続き書きました。 YouTube でアーカイブが配信されています https://www.youtube.com/watch?v=-A9jp-R_mBc 主なトピック： Docker Desktop 3.0 の話や Apple Silicon (M1) Tech Preview 提供開始 docker-hub コマンドラインツールは Docker Engine 20.10 から利用可能に Docker Compose の Go 版（ docker compose コマンド）対応計画 経営陣とのぶっちゃけ Q&A 概要 「Docker Community All-Hands
ECSのBlue/Green(カナリアリリース)がCloudFormationでサポートされました！ | DevelopersIO
こんにちは、コンサル部のもこ@札幌オフィスです。 本日、ECSのBlue/Greenデプロイ(カナリアリリース)がCloudFormationでサポートされたので、早速CloudFormationでECSのBlue/Green、カナリアリリースをやってみました！ ECS環境のBlue/Green(カナリアリリース)の仕組み そもそもECS環境に対してどのようにBlue/Green(カナリアリリース)を行われるのかをおさらいしておきましょう。 時は遡って昨年、ALBでターゲットグループがサポートされました。 [激アツアップデート]ALBだけでカナリアリリース(重み付け)ができるようになりました！ 上記の機能を利用したデプロイを自動化した物がCodeDeployで今年2月にリリースされていて、CodePipelineやコマンドなどから実行することで利用することが出来ていました。 ECSでCod
【アップデート】ECS on FargateがsystemControlsをサポートし、カーネルパラメータが調整できるようになりました | DevelopersIO
【アップデート】ECS on FargateがsystemControlsをサポートし、カーネルパラメータが調整できるようになりました CX事業部@大阪の岩田です。 8/9付のアップデートでECS on Fargateのタスク定義で指定可能なパラメータが増えました 今回のアップデートで指定可能になったパラメータは以下の2つです。 systemControls pidMode 本ブログでは上記アップデートのうちsystemControlsについてご紹介します。 systemControlsとは ECSのタスク定義ではsystemControlsというパラメータが指定可能です。このパラメータはdocker run の --sysctlオプションに相当し、Linuxカーネルの各種カーネルパラメータが設定できるパラメータとなっています。従来このパラメータはECS on Fargateでは指定できず
負荷試験＃基本リンク集 | 外道父の匠
前の記事は実は前フリで、最近、負荷試験について深く潜り込んだので、自分なりに考えたことを細かく分けて書いていこうと思います。負荷試験シリーズのはじまり:-) 後半はほとんど自分で考えて色々実装しましたが、序盤は先人の知恵をかき集めてイィトコ取りしたので、メモっておいたリンク集を置いておきます。 はじめに 負荷試験ってツールを選んで大量リクエストを発生させるんでしょ。ってイメージがあるかもですが、より効率的により正確にって仕上げていくと、独自に実装したい仕組みが結構でてきます。 アプリケーションは当然モノによって仕組みや構成は異なるし、プロトコルが異なる場合もあります。千差万別は言いすぎかもだけど試験には色んな選択や工夫があり、これが正解っていう単純なものではないのは間違いないです。 とはいえ、シンプルな実行と結果でも、複雑な取り組みをしたとしても、求められる成果に対して十分で正しい結果を示
概要 2020年7月にDocker社とAWSが協業を発表した。 DockerとAWSが協業 Docker DesktopとAmazon ECSが連係可能に - ITmedia NEWS それから約半年後、ついにdockerコマンドでAWSに一発デプロイできるようになった Docker ComposeとAmazon ECSの統合が一般提供に：CodeZine（コードジン） ここでは、dockerコマンドを使ってfargateにデプロイする方法をメモする。dockerを使ってAWSにデプロイする、ということは数年前からできてたことで、それ自体は何も新鮮ではないのだが、ざっくりいうとAWSの設定を全く、ないしは極力せずにデプロイできるところが今回のアップデートの強みと言える。 今までのAmazon ECS CLIである「ecs-cli」コマンドは使わない AWS CloudFormationの設
入門から実践まで CircleCI のノウハウが凝縮された「CircleCI 実践入門」を読んだ - kakakakakku blog
9月に出版された「CircleCI 実践入門」を読んだ．素晴らしかった！なぜ CI/CD が必要なのか？という背景から，CircleCI 入門，CircleCI 実践まで，網羅的に解説されている．ボリュームは多く，読みごたえはあるけど，必要な箇所から読むこともできる．また「継続的デリバリー」と「継続的デプロイ」の違いが明確に解説されているのも良かった．今回は著者の1人である CircleCI の Kim さん (@kimhirokuni) に献本をいただいた．ありがとうございます！出版おめでとうございます！ CircleCI実践入門──CI/CDがもたらす開発速度と品質の両立 (WEB+DB PRESS plus) 作者:浦井 誠人,大竹 智也,金 洋国発売日: 2020/09/14メディア: 単行本（ソフトカバー） 目次 第1章「なぜ CI/CD が必要か」 第2章「CircleCI の
Docker を使って Djangoチュートリアルの Polls アプリを AWS ECS へデプロイするサンプルのようなもの - Qiita
Docker を使って Djangoチュートリアルの Polls アプリを AWS ECS へデプロイするサンプルのようなものPythonDjangoAWSDockerECS はじめに こちらはDjangoのチュートリアル「はじめての Django アプリ作成、その１」のPolls(投票)アプリを Amazon Web Service(AWS) の Elastic Container Service(ECS) へデプロイするサンプル（のようなもの）です。 nginx + uwsgi + python + django + MySQL DB という構成で docker-compose を使っています。 また、デプロイには AWS CLI と ECS CLI を使い AWSコンソールは(ほとんど)使いません。（EC2インスタンス への ssh 接続でセキュリティグループを編集するときにだけコン
古いCircleCI Slack通知からの移行の道
この記事は、CircleCI Advent Calendar 2021 の3日目です。 昨日は、2021年のChangelogから振り返るCircleCI - その2 でした。そんなのあったのか、と気付かされる内容だったので、その3も楽しみです。 この記事でやることについて、3行まとめ 自社用のSlackアプリを登録する Orbsを利用してSlack通知のための設定を投入する 昔からあるSlack通知設定について、APIを直接コールして停止する ことはじめ CircleCI を使い始めて、早5年。途中で、プランを Performance プランに変えたり、CircleCI 2.x にバージョンがあがったりなど、対応しながら使っています。自分たちの開発チームでは、20プロジェクトほどのビルドや、デプロイをCircleCI上で行っています。 そんなこんなで昔から使っているため、もとからCirc
ECSタスクで1時間おきにRDS Auroraのスナップショットを取得する - カミナシ エンジニアブログ
エンジニアのTakuです。 カミナシではデータ保全のため、RDSのスナップショットを1時間おきに取得し、万が一のデータ破損に備えております。 今回はそのECSタスクで定期的にバッチ処理を実行する方法について共有させていただきたいと思います。 取得理由 カミナシでは150社以上の企業様にご利用いただいており、毎日膨大なレポートが作成されております。（2022年4月現在） ご参考）↓の14ページ speakerdeck.com 日々膨大な量のデータが増えており、中には監査などの保管が必要なデータもあり、データやDBの破損が発生するとお客様への影響が大きいです。 そのため、万が一の際の障害発生時の影響を少しでも抑えるため、1時間に1回フルバックアップを取得しそれらを最大24時間保持することとしました。 ※ポイントタイムリカバリを利用した特定の時点への復元も可能ですが、そちらが破損する事態にも備え
AWS初学者 ECSの構成要素が全然理解できない… おつまみ そのお悩みを解決します！ AWSを学び始めた皆さん 学習は順調に進んでいますか？ AWSでコンテナの管理を行うツールとしてお馴染みの「Amazon Elastic Container Service」通称「ECS」 ECSの主要な構成要素を自分の言葉で説明することはできますか？ ……。 ………………。 説明できましたでしょうか？ 本記事では「ECS」の構成要素について、初心者にわかりやすいよう図解付きで解説していきます。 結論、こちらがECSの構成要素です！ Amazon ECSの構成要素 タスク定義：タスクを作成するテンプレート定義 タスク：タスク定義に基づいて起動するコンテナの集まり サービス：実行中のタスクを管理する クラスター：サービスとタスクを実行する基盤 「は？なんで遊園地？」と思った方。今は理解できなくて正常です！
Amazon ECS Anywhereを使ってAWS外でもコンテナが運用できるようになったので使ってみた | DevelopersIO
5月27日にECSの機能を利用してオンプレミスでもコンテナの実行、管理を可能にするAmazon ECS Anywhereが利用可能になりました。 今回はそれを使ってUbuntu上にECSからコンテナを起動させてみたいと思います。 Amazon ECS Anywhere ECSは従来EC2やAWS FargateなどAWSが提供するコンピュートリソース上でのみ実行可能でした。 しかし、今回提供されたAmazon ECS Anywhereを使用すればオンプレミスでも今までと近い操作でコンテナの実行、管理が可能となります。 AWSが提供しているECSのコントロールプレーンに自分で用意したインスタンスを接続すればクラスターに参加できます。 EC2のECSインスタンスをオンプレミスで立ち上げてるような状態です。 仕組みとしてはSystems Manager Agentがインスタンス内で実行され、それ
はじめに こんにちは、バックエンドエンジニアのogadyです。 みなさん、AWS FargateのEFSマウント使っていますか？？ この機能は、2020年4月にリリースされた機能で、これによって冗長化したFargateタスク同士でも共有のファイルストレージ領域を持てるようになりました。 Amazon ECS および AWS Fargate による Amazon EFS ファイルシステムのサポートの一般利用を開始 この機能追加によりFargateでできることがかなり増え、今まで共有ファイルストレージを使う為にECS on EC2を選択するしかなかったところ、晴れてECS Fargateを選択することができるようになった訳です！ この機能を利用して、弊社のオンプレシステムのクラウドリフトに向けてFargate + EFSを使用したログ転送の仕組みを検討しましたので、本ブログで共有しようと思いま
AWS ECS(Elastic Container Service)-Fargateでコンテナを最速で(簡単に)立ち上げようというコンテナ入門の記事です。 以下のような方向けです。
Fargateタスク停止時のイベントに関するAmazon SNSアラートを送信するチュートリアルをAWS CDKで実装してみた | DevelopersIO
こんにちは。サービスグループの武田です。 Fargateやってますか（挨拶）。Fargateを使って簡単なシステムを作っていたら、タスク停止時にアラートを通知する設定をしておくと幸せになれるというアドバイスをもらいました。公式ドキュメントにチュートリアルがありますので、今回はこれをCDKで実装してみました。 チュートリアル: タスク停止時のイベントに関する Amazon Simple Notification Service アラートを送信する - Amazon Elastic Container Service ソースコード全体はGitHubに上げてあります。 TAKEDA-Takashi/tutorial-fargate-task-stopped-alert 環境 検証環境は次のようになっています。 $ sw_vers ProductName: Mac OS X ProductVers
はじめに ほとんどのWebサービスにおいて、ユーザの認証機能は必要です。 ここでいう認証機能とは以下の機能群を指します。 サインアップ サインイン・サインアウト パスワード変更 パスワード初期化 昔のWebサービスは、これら認証機能を各サービスごとに独自に実装していました。 しかしパスワードのような秘匿情報を各サービスごとに保持することはセキュリティリスクを高めます。また認証機能を各サービスごと開発することは開発コストの増加につながります。さらにユーザーはサービスごとに使用しているアカウントを把握する必要がありますので利便性が低下します。 その結果、認証機能を外部システムに移譲したい、すでにある認証基盤を流用したい、などの要求がありました。 これらの要求に応えるように、OAuth 2.0やOpenID Connectなどのフェデレーション認証方式の確立やシングルサインオン等、認証機能に関わ
compose watchがフロントエンド開発に便利そう、他に改善話など｜Productivity Weekly(2024-02-21号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2024-02-21 単独号です。 今回が第 143 回目です。過去の記事はこちら。 news 📺 Announcing end-of-support for AWS SDK for Go (v1) effective July 31, 2025 | AWS Developer Tools Blog AWS SDK for Go の v1 が 2024 年 7 月 31 日にからメンテナンスモ
この記事について AWSにおけるコンテナオーケストレーションツールとして定番になっているECSとサーバレスでECSを稼働させるFargateについて、入門向けに説明します。 まだECSやFargateについて知らない、理解してない方がいればぜひご一読ください。 また別の記事にFargateを利用してWebサイトを構築する方法についても記載しておりますので、併せてご参照いただけると幸いです。 この記事のゴール ECSとFargateが何かを理解する ECSとは AWSが提供するフルマネージドコンテナオーケストレーションサービス オーケストレーション = 管理 オーケストレーションがある世界/ない世界 オーケストレーションがない世界(管理対象1つ) オーケストレーションサービスがない世界(管理対象複数) オーケストレーションがある世界 つまりECSとは コンテナをいい感じに管理してくれるサービ
ECSでインタラクティブに「docker run, exec, cp, logs, stop」できるCLIツールを作りました
#ecs_execでの発表資料です。 作ったCLIツールはこちらです↓ https://github.com/yukiarrr/ecsk aws ecs execute-command --task ${value} 2021/4/23
監視からオブザーバビリティへ
概要 先日弊社の監視運用をMackerelからDatadogへ切り替えました。その時監視だけでなく、OpenSearchによるログ集約運用も見直しそちらもDatadogにまとめました。 Datadogは前の会社でも使っていましたが、すでに導入済みで特に私自身使う機会がなかったので今回の導入に向けて色々とDatadogの導入方法や監視そのものの運用について色々と調べてみました。 そのなかでオブザーバビリティという用語が気になりましたので、私が調べて感じた事、AWSで実践できるワークショップの紹介も兼ねて紹介いたします。 オブザーバビリティとは 日本語訳では可観測性とも紹介され観察する能力という意味合いになります。何を観察するか。エンジニアがシステムやプロダクトをリリースした後の運用でログの取得やCPU使用率、パフォーマンスデータの確認など多くの指標を取得すると思います。 これらを取得する目的
Amazon Web Services ブログ ECS 外部デプロイコントローラーを使用したブルー/グリーンデプロイ はじめに 継続的インテグレーション (CI) と継続的デリバリー (CD) は、現代のソフトウェア開発における重要なプラクティスです。それによりソフトウェアの配信を合理化して、ビジネス価値を迅速に提供できます。迅速な配信に加えて、現在のビジネス環境では、アプリのダウンタイムもほぼゼロであることが求められます。ブルー/グリーンデプロイが提供するソリューションは、チームが迅速に提供できるようにするだけでなく、機能のリリースに不可欠と考えられていた「メンテナンスウィンドウ」を排除するのにも役立ちます。大まかに言うと、このアプローチでは、新しいアプリケーションスタック (グリーン) を本番バージョン (ブルー) と並行してデプロイする必要があります。最初に、このグリーンスタックは生
こんにちは。 エキサイト株式会社の三浦です。 AWSにはECSという、コンテナをデプロイ・運用できるサービスがあります。 このECSにはALBを接続することもでき、それによってURLからのアクセスをECSのコンテナに流すことができます。 今回は、一度ECSにALBを接続するよう設定した後、その設定を更新する方法について説明します。 Amazon ECS CLI経由でALB設定を更新する 最後に Amazon ECS ECSはAWSのサービスで、コンテナをデプロイ・運用できるサービスです。 公式には以下のように説明されています。 aws.amazon.com Amazon ECS は、フルマネージドコンテナオーケストレーションサービスであり、コンテナ化されたアプリケーションを簡単にデプロイ、管理、およびスケーリングできます。 このECSにはALB（厳密にはターゲットグループ）を接続する事がで
ECS タスクの停止理由を CloudWatch Logs に保管する方法を教えてください | DevelopersIO
困っていた内容 ECS を使用したシステムを構築しています。予期せず ECS タスクが停止した際は、タスクの停止理由を確認しているのですが、しばらくすると停止したタスクはマネージメントコンソールから消えてしまうようです。 表示が消えても構わないように、停止理由を CloudWatch Logs に保管しようと思うのですが、設定する方法を教えてください。 ListTasks - Amazon Elastic Container Service Currently, stopped tasks appear in the returned results for at least one hour. どう対応すればいいの? CloudFormation でecs-stopped-tasks-cwlogs.yamlテンプレートを実行してください。 ecs-stopped-tasks-cwlogs
Spring Boot/Reactで実装したWebアプリをCDKでECSにデプロイする | DevelopersIO
こんにちは、CX事業本部のうらわです。 今回はバックエンドはSpring Boot、フロントエンドはReact(SPA)のWebアプリケーションをAWS CDK（以下、CDK）でAmazon ECSデプロイしてみました。フロントエンドはS3/Cloud Frontで配信するのではなく、Spring Bootの一部としてデプロイします。 本記事ではSpring BootやReactで実装するアプリ自体のコードの説明は重要な点のみです。全てのコード例は以下のGitHubを参照ください。 urawa72/spring-boot-react-app 作業環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.7 BuildVersion: 19H15 $ java --version openjdk 11.0.11 2021-04-20 O
Developers.IO 2019 in 福岡で「劇的改善？？VPC Lambda Before&After」というテーマで発表させていただきました #cmdevio | DevelopersIO
※画像はA Serverless Journey: AWS Lambda Under the Hood (SRV409-R1) - AWS re:Invent 2018より引用 こちらはre:invent2018のセッションで紹介されていたVPC Lambdaのモデルです。Lambda実行環境から顧客VPC内のENIのNAT処理はWoker内で実行されるという説明です。旧アーキテクチャのVPC Lambdaでは1つのENIに対して1つのWorkerがアタッチされ、Workerを跨いでENIを共有することができませんでした。 まとめると旧アーキテクチャでは Worlkerを跨いでENIを共有できない メモリ3GB毎にENIを消費する という特徴がありました。 VPC Lambdaが抱えていた課題 このようなモデルの旧アーキテクチャは様々な問題を抱えていました。 ENIの枯渇問題 ENI作成の
ECSメインにAWSサービスを利用してコンテナの運用設計を考えてみます。 コンテナの運用設計 ECS 上で稼働するWebアプリケーションを前提に運用の要件を考えてみます。 コンテナを使用したマイクロサービスの運用は、モノシリックなシステム運用とは少し異なります、以下の項目を運用項目としてピックアップします。 可用性/スケーリング CI/CD ロギング トレース モニタリング ECS/ECR のアーキテクチャ まずはECS/ECR のアーキテクチャについて触れます。 Amazon ECSはコンテナの作成、実行、停止といった管理をメインとしたサービスであり、Amazon ECRは Dockerのレジストリサービスとなります。リポジトリにあるイメージをプッシュしたり、イメージの保管等を行います。 全体的なイメージを以下のように理解をしています。 ECSの機能 まずECSです。 ECSは複数のエン
この本の概要 CI/CD（継続的インテグレーション，継続的デプロイ）を導入すると，ビルド／テスト／デプロイなどアプリケーションのリリースに至るまでの多くの作業を自動化できます。開発が効率化するだけでなく，テストを確実に行うことなどにより品質の向上にもつながります。本書は，多くのアプリケーション開発で活用されているCI/CDサービス「CircleCI」を使って，CI/CDを実現できるようになるための書籍です。基本から始め，実際の開発に応用できるよう設定例やTipsをふんだんに掲載しています。 こんな方におすすめ Webアプリケーション開発を効率化したいと考えているWeb開発者 この書籍に関連する記事があります！ はじめに 本書の目的は，CircleCIを通してCI/CDに入門することです。 CI/CDを活用して開発速度と品質を両立！ CI/CDはそれぞれContinuous Integrat
ECS on EC2におけるスケーリングの辛みを「Capacity Provider」で解決する | DevelopersIO
はじめに こんにちは。コンサル部の島川です。 2019年12月頭にECSの新機能であるAWS ECS Cluster Auto Scalingが発表されました。略してCAS。AutoScalingGroupにECS専用ポリシーが紐づけされます。これは同時期にリリースされた「Capacity Provider」と一緒に使う必要があります。ただ...めちゃくちゃ便利そうだという第一印象だけで実際にどういう動きをするのか、何が嬉しいのかという点についてモヤモヤしていた部分があったので実際に手を動かしてみて動きを確かめてみました。 結論からECS on EC2を運用されている方は「Capacity Provider」を有効にしてCASを使うメリットが大きいです。EC2のスケーリングをほとんど考えなくて良くなります！ ECS on EC2における今までの課題 今までは EC2のスケーリング Auto
EventBridgeスケジューラの登場により、EventBridgeから直接EC2の起動、停止が可能になりました。利用しない時間はインスタンスを停止してコストを削減しましょう。 こんにちは、データアナリティクス事業本部の八木です。 EC2が必要なのは一部の時間帯だけ。。。使わない時間は停止してコスト削減したいな。。。といった悩みをお持ちの方、いるのではないでしょうか？ 数分の実行であればLambda、数時間の実行であればECSタスクに乗り換えるという手段もありますが、既存処理を移植しにくい、作業工数を取れないといった場合もあるかと思います。 そんな時に思い当たるのがEC2の定期起動/停止ではないでしょうか。 EC2の定期起動/停止方法として、従来はEC2のEventBridge + Lambda1や、EventBridge + Systems Manager2を利用する構成がとられてきま
CodeDeployを使用したECS-FargateのBlue/Green Deploymentをしてみた。 | DevelopersIO
はじめに Blue/Green Deploymentとは？ Blue/Green Deploymentでは、2つの環境を作成します。1つの環境(Blue)は現在のアプリケーションバージョンを実行し、もう1つの(Green)は新しいアプリケーションバージョンを実行します。Green環境でのテストが完了すると、アプリケーショントラフィックはGreen環境に転送されて、Blue環境は非推奨になります。 この記事では、CodeDeployを使用したFargateのblue/green deploymentをしてみました。 やってみた Application Load Balancer の作成 Target Groupsの作成 EC2 コンソールで、Load Balancingで Target Groupsを選択しておきます。 Create target group を選択して、以下の設定で2つのT
cdk bootstrapとは cdk appを新しい環境(AWSアカウント x リージョン)でデプロイする際に、最初の一回だけ実行が必要なコマンドです。もう少し厳密に言うと、各環境(AWSアカウント x リージョン)にて以下いずれかに当てはまるappを初めてデプロイする際に必要になります。 アセットを必要とするスタックがある場合 50キロバイトを超えるCFnテンプレートが生成される場合 DefaultSynthesizerを使用するスタックがある場合 cdk bootstrapコマンドを実行すると、CFn(CloudFormation)スタックが作成され、cdk appのデプロイに必要な周辺リソースが作成されます。 modern (vs legacy) cdk bootstrapで作成されるCFnスタックで使われるCFnテンプレートには大別して2種類存在します。modern templa
Amazon ECS on AWS Fargate を利用したコンテナイメージのビルド | Amazon Web Services
Amazon Web Services ブログ Amazon ECS on AWS Fargate を利用したコンテナイメージのビルド この記事は Building container images on Amazon ECS on AWS Fargate を翻訳したものです。 コンテナイメージのビルドのプロセスは、アプリケーションのコード、ライブラリ、および依存関係を再利用可能なファイルシステムにパッケージ化することです。開発者は自分たちのコードと一緒に、コンテナイメージを組み立てるためのすべてのコマンドを含む Dockerfile を作成します。この Dockerfile は、Docker Engine に組み込まれているようなコンテナイメージのビルドツールを利用して、コンテナイメージを作成するために使用されます。ビルドされたコンテナイメージは、Amazon ECS や EKS のよう
週刊Railsウォッチ（20210120後編）Ruby 3.0の新機能で遊ぶ、RubyスニペットをJSに変換するRuby2JS、rspec-parameterized gemほか｜TechRacho by BPS株式会社
2021.01.20 週刊Railsウォッチ（20210120後編）Ruby 3.0の新機能で遊ぶ、RubyスニペットをJSに変換するRuby2JS、rspec-parameterized gemほか こんにちは、hachi8833です。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙇 TechRachoではRubyやRailsの最新情報などの記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読する
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Terraformを用いた既存マイクロサービスインフラのコード化とその運用
FargateとSSMでssh(ぽい)環境を構築してみた - Qiita
ECSへのデプロイ時間をどうやって4分の1にしたのか - Qiita
バッチシステムをAmazon ECSで作った話 - GMO Research & AI Tech Blog
docker-compose.ymlを全自動でAWS ECSにデプロイ
【AWS初学者向け・図解】Amazon ECSとは？現役エンジニアがわかりやすく解説
Fargate+FireLens+EFSでログ管理 - Tech Do | メディアドゥの技術ブログ
【AWS ECS入門】Fargateでコンテナを5分で立ち上げてみる
Amazon Cognito User Pool を用いたWebサービスにおけるユーザー管理・運用の事例 | Fintan
今さら聞けないAWS ECSとは？Fargateとは？ - Qiita
ECS 外部デプロイコントローラーを使用したブルー/グリーンデプロイ | Amazon Web Services
CLI経由なら、ECSのALBは更新できる - エキサイト TechBlog.
AWS コンテナ運用設計に関するアプローチ - Qiita
CircleCI実践入門 ──CI/CDがもたらす開発速度と品質の両立
EventBridgeスケジューラを使ってEC2の定期起動/停止を行う方法 | DevelopersIO
CDK BootstrapのModern templateで何が変わるのか | DevelopersIO