Autoscaling については過去に何度か書いているのですが、今回は ECS Fargate について少し掘り下げつつ整理してみたいと思います。 仕組みとしては難しくはなく、わりと雑な理解度でも動くっちゃ動くとはいえ、リソースとしての重要度は高い箇所であり、正しく理解するとより関連箇所の最適化が見込めるところでもあります。 概要 ECS は on EC2 で動かすと、インスタンスとタスクの二段階での Autoscaling になるところが、Fargate だとタスクのみで考えられる簡素さが強みです。 ECS Service のタスク群に対して、特定の条件（主に平均CPU使用率）を満たした時にタスク数を自動的に増減することで、負荷対策とコスト削減という目的を達成しつつ、運用者が基本は放置できることになります。 ただ、それだけの理解では浅すぎるので、増減における詳細やリスクなどについて把握
Amazon ECS & AWS Fargate 今昔物語 / past and present stories of Amazon ECS and AWS Fargate
Amazon ECS & AWS Fargate 今昔物語 / past and present stories of Amazon ECS and AWS Fargate
Fargate Spot が Arm アーキテクチャに対応！ シュッと移行してコスト削減を実現 - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 「円安を乗り越えるための Arm アーキテクチャへの移行が完了！ そのプロセスを公開します」にも書いたとおり、カミナシではほぼすべてのコンピューティングに Arm アーキテクチャを採用しています。また、運用コストを下げるために AWS Fargate を最大限活用しています。 Fargate には Fargate Spot という選択肢があります。 EC2 のスポットインスタンスと同様のコンセプトで、次のような特徴があります。 AWS クラウドの空きキャパシティを活用してタスクを実行 キャパシティが逼迫すると 2 分前の通知とともに停止させられる コストは Fargate と比べて 7 割引（東京リージョンの場合） 高い可用性を求められない環境では Fargate Spot を使ってコストを抑えたいところですが
EKSでKarpenterに入学してみた 〜 Fargateを卒業する理由と方法 〜 - MonotaRO Tech Blog
はじめに こんにちは！コンテナ基盤グループの楠本です。 前回の記事EKSコンテナ移行のトラブル事例：FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blogを投稿してから半年以上も経ちました。（時が流れるのは早い… 前回はSREグループコンテナ化推進チームとしてでしたが、今回は挨拶の通りコンテナ基盤グループとしての投稿です。 元々ECエンジニアリング部門のSREグループとして活動していましたが、今年初めに組織編成があり、プラットフォームエンジニアリング部門の１グループとして活動しています。 今回は組織とのミスマッチからEKS on FargateからEKS on EC2へ切り替えた話をご紹介します。 見どころは EKS on Fargateとプラットフォームエンジニアリングとの相性 EKS on EC2へ移行する際に検討したこと 移行して得られたこと の３点です
「攻めた」AWS Fargate Spot比率の見直し時 - Hatena Developer Blog
AWSの東京リージョンでFargate Spotを「中断されたら困る」割合で利用している場合、2024年10月は見直し時かも知れません。 はてながECS Fargateで運用しているWebサービスの多くは、状況に応じてリクエスト数≒負荷が増減します。 これに対して、リクエストを受け持つECSサービスのタスク数をオートスケールさせてコスト最適化を図っています。 ボトルネックはCPUで、CPU使用率を追跡していることが多いでしょうか。 オートスケールで追跡する使用率にはスケールアウトまでの間の負荷に耐えるための余裕を持たせます。 この余裕の部分をSpotタスクで確保することで更にコストを削減できます。 AWS Fargate Spotの発表で示されているユースケースでは以下に該当します。 また高可用性を求められるウェブサイトやAPIサーバーのように、ECSサービスの一部となるタスクに対してもF
FargateのCPU性能の違い
こちらでお話しさせていただきました ARMでも検証してみたかった（Gravitonのバージョン差とかあるのかな） https://aws-likers.connpass.com/event/330782/
LaravelをコマンドのみでFargateにデプロイする
はじめに この記事では、コマンドのみでLaravelをAWSのFargateにデプロイする方法について解説しています。 これまで、AWSのリソースをコンソール画面で操作してデプロイしていましたが、画面が頻繁に変更されるため、毎回手動での操作が煩わしく感じられました。 そこで、CloudFormationというサービスを利用し、インフラをコードで管理することにしました。 これにより、インフラの構築をコマンドだけで実行できるようになりました。 この記事が、Laravelを手軽にデプロイしたい方々の役立てば幸いです。 サンプルリポジトリ 完成構築図 事前準備 以下が事前に済んでいることが必要です。 AWSCLI のインストールと設定 docker のインストール rainのインストール ディレクトリ構造 プロジェクトルート ├── cloudformation-v2 - AWS CloudFor
はじめに AWSのコンテナオーケストレーションサービスであるAmazon ECS（Elastic Container Service）は、アプリケーションをコンテナ化して管理するための強力なツールです。ECSは、主にアプリケーションのスケーラビリティと管理の効率化を目的として使用されます。ECSには、インフラを自分で管理するEC2モードと、サーバーレスで運用できるFargateモードがあります。どちらを選べば良いか迷うことも多いため、この記事ではECS on EC2とFargateの違いについて詳しく解説し、それぞれのメリットとデメリットを比較します。 ECSの基本についてはこちらの記事をご参照ください。 https://envader.plus/article/180 ECS on EC2とは？ 概要と仕組み ECS on EC2は、ユーザーがEC2インスタンスを利用してコンテナを実行す
はじめに ECS Fargateにデプロイしたはいいけど、コンテナ内にアクセスできなくてデバッグできなくて困ることはしばしば。EC2 on ECSならばSSH接続できるけど、Fargateではどう接続すれば良いのか。。。そこで、今回はSessionManagerを利用してFargateのコンテナ内にアクセスする方法を説明します。 SSM(Session managerとは？？) Session Manager はフルマネージド AWS Systems Manager 機能です。Session Manager を使って、Amazon Elastic Compute Cloud (Amazon EC2) インスタンス、エッジデバイス、オンプレミスサーバー、仮想マシン (VM) を管理できます。インタラクティブ・ワンクリック ブラウザ ベースのシェル、または AWS Command Line I
ゼロダウンタイムで Amazon EC2 で稼働している nginx を AWS Fargate に移行した - 弁護士ドットコム株式会社 Creators’ blog
こんにちは。弁護士ドットコム クラウドサイン事業本部で SRE をしています、大内と申します。 クラウドサイン事業本部の SRE ではサービスの可用性、信頼性の向上や開発の高速化、省力化を目指した開発を日々行っています。 クラウドサインは 2024 年 10 月で 10 年目のサービスとなりました。 裏ではさまざまなアプリケーション（定期実行バッチ、常駐バッチ、内部 API サーバーなど）が稼働し、相互に連携してサービスを提供しているのですが、中には非常に古くから稼働しているものも存在します。 今回お話する nginx もその 1 つです。 クラウドサインの裏で稼働するアプリケーションのほとんどはコンテナで動作しています。 基盤としては AWS Fargate を使用しています。 昔は EC2 で稼働していたさまざまなアプリケーションも、サービス提供しながら裏でひっそりと Fargate
そもそも目的とか ECS にした理由 脳死で EC2 上で Rails アプリを動かしてサービスを運用し続けているので他の選択肢ってどうなん？ってところからスタート Docker は散々さわっているけれどクラウド上のオーケストレーションツール自体は使ったことなかったので体験するという試み ECS と EKS どっち使う問題 AWS という縛りで考えると 2 つのうちどちらを使うかとなった いろいろな記事を読んだ結果難易度的には ECS < EKS という結果に思えた k8s を理解するのに時間を要しそうなイメージ ただデファクトになりつつあるのでいつか概念だけでも理解したいところ… 時間の成約があり、クラウド上でコンテナを使った開発が体験するのが目的だったため ECS を採用 参考
はじめに インフラストラクチャ・アズ・コード（IaC）の次世代技術として注目を集めているインフラストラクチャ・アズ・ランゲージ（IaL）。本記事では、IaLを活用してAWS FargateにStreamlitアプリケーションをデプロイする過程を詳細に解説します。AIによるコード生成と自然言語での要件定義を組み合わせることで、インフラ構築のプロセスがいかに簡素化されるかをご覧いただけます。 プロジェクト概要 本プロジェクトでは、ねこねこカンパニーの工場ダッシュボードをStreamlitで作成し、AWS Fargateにデプロイします。主な特徴は以下の通りです： Streamlitを使用した対話的なダッシュボード AWS FargateとECSを利用したサーバーレスデプロイ Terraformによるインフラのコード化 IPホワイトリストによるセキュアなアクセス制御 IaLによる要件定義 IaL
LambdaからFargateへの切り替える際にNode.jsアプリのタスクスペックをどう決めたか？ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近、LambdaからFargateに移行して、Node.js(NestJS)アプリの動作を最適化するためにタスクスペック(CPUやメモリの割り当て)についていろいろ試行錯誤しました。この経験を踏まえて、最適な設定を見つけるまでの流れを共有します。 Lambdaとの違い 最初はLambdaを使っていたんですが、リクエストごとに新しい環境が立ち上がり、リソースの競合がなくて快適でした。短い処理ならLambdaが効率的で、オートスケーリングも自動的に対応してくれていました。 でも、長時間稼働するバッチ処理や大量データの処理になると、Lamb
Terraform勉強-第27回：ECS on FargateでのNGINXデプロイとCloudWatchログ監視 - Qiita
. ├── provider.tf ├── main.tf #=> モジュール呼び出し ├── variables.tf #=> モジュール呼び出しで使用する変数の定義 ├── outputs.tf #=> モジュール側アウトプット(ID、ARN、DNS名など)を参照する役割 ├── terraform.tfvars #=> 変数の具体値(git管理外) ├── modules │ ├── nw │ │ └── vpc.tf │ │ └── igw.tf │ │ └── natgw.tf │ │ └── private_subnets.tf │ │ └── public_subnets.tf │ │ └── variables.tf │ │ └── outputs.tf #=> モジュールを呼び出すルート側に参照させる役割 │ ├── ecs │ │ └── main.tf │ │ └──
ECS on Fargateで構築したWEBアプリの環境に、Terraformを使用してAuto Scalingの機能を導入する - Qiita
概要 表題の通り、Terraformを用いて自動スケーリング機能を追加しました。本記事では、その具体的な実装方法について記述します。 Auto Scalingの種類 Auto Scalingは、主に3種類の設定項目がある為、各機能について説明する ターゲット追跡ポリシ システムのパフォーマンスを安定させる為に、CPU使用率を目標値に保つ様、コンテナ数を自動的に調整する 指定したメトリクス（例：CPU使用率、メモリ使用量）が設定した目標値を超えるか下回った際、自動的にスケールイン（リソースを減らす）またはスケールアウト（リソースを増やす）を行う AWSが提供するマネージドサービスであり、導入が比較的容易 AWSが推奨するスケーリング方法 ステップスケーリングポリシ リソースの使用率の変化に対してより細かく閾値を決めてスケールイン、アウトを行う CloudWatchアラームをトリガーとして、C
ECS/Fargateからサービスアカウントキーを使わずにGoogle CloudのAPIにアクセスする方法 - Yappli Tech Blog
はじめに こんにちは！SREの三橋です。 今回はECS/Fargateからサービスアカウントキーを使わずにGoogle CloudのAPIにアクセスする方法をご紹介いたします。 ECS/FargateなどAWSリソースからGoogle Cloud上のAPIへアクセスする際にはサービスアカウントキーを利用することが最も簡単です。しかし、サービスアカウントキーを正しく管理できていない場合、そのサービスアカウントの権限を利用して悪意のある操作を実行される恐れがあります。 YappliのバックエンドでもECS/FargateからGoogle Cloud上のAPIへアクセスすることがあり悩みの種の一つになっていましたが、今回ご紹介するWorkload Identity連携を使うことでこの問題を解決することができました。 はじめに 想定する読者 結論 Workload Identity連携とは Wor
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS ECS Fargate Autoscaling の実戦的な基礎知識 | 外道父の匠
どっちを選ぶ？AWS ECS on EC2とFargateの違い | エンベーダー
ECS FargateにSSMを利用してSSH接続する(チュートリアル) - Qiita
Rails on Fargate（ESC）入門・構築メモ書き
IaLを活用したAWS FargateへのStreamlitアプリケーションのデプロイ