FireLens（Fluent Bit）からCloudWatch Logsへログを送信時、ThrottlingExceptionエラー回避のためログストリーム設定を見直す | DevelopersIO
CloudWatch Logsを知る エラーメッセージ内のキーワードを個別に確認します。 PutLogEvents APIとは CloudWatch LogsのログストリームにログイベントをアップロードできるAPIです。 PutLogEvents - Amazon CloudWatch Logs Fluent BitからCloudWatch Logsへログを送るのに利用されていました。 ThrottlingException Rate exceededとは 一定時間内に受信可能なAPIリクエスト数を制限しています。その制限値を超過したことを示しています。 一般的にスロットリングエラーを回避するには、APIリクエスト頻度を減らす、APIリクエストの間隔をずらす（同時実行数を減らす）、いい感じの間隔で再試行する（Exponential Backoff）などがあげられます。 今回はどこの制限値を
FargateのコンテナでOSコマンドやsshで入りたい!! それssm-agentで解決できます - Qiita
Fargate便利ですよね。煩わしいインスタンス管理から開放させて素早く環境が用意できます。 ですがECSと違って一点大きな問題があります。 docker exec や SSH が実行できない!! EC2に慣れている人にはSSHで調べられないのはちょっとうっ。。。。って思います。(少なからず自分はそうでした) ではできないのか？というとそうでもないらしくいくつか方法はあるようです。 SSHの環境を設定してそこからコンテナに入る ssm-agent経由でコンテナに入る SSHの環境を整えても良いのですが、それだとせっかくのセキュアな環境が勿体ないので今回はssm-agentを経由したコンテナの入り方を構築したのでメモ代わりに残しておきます。 環境 AWS Fargate 参考にした記事 [AWS ECS]Fargateのcontainerにシェルで入りたい(sshd無しで！) これしかまとも
こんにちは、アライアンス事業部のきだぱんです。肌寒くなってきて、お鍋が美味しい季節になってきました。「お鍋×冬」の組み合わせも最高！！なのですが、それに負けないくらい「GitLab×AWS」も最高なので、今回はお鍋の話題ではなくAWSでのGitLab活用について見ていきたいと思います。本記事はクラスメソッド DevOps・セキュリティ Advent Calendar 2023とGitLab Advent Calendar 2023の12/11記事になります！ こんにちは、こんばんは。アライアンス事業部のきだぱんです。 今年も残りわずか… 12月に入りました。アドベントカレンダーの季節です！ 本記事はクラスメソッド DevOps・セキュリティ Advent Calendar 2023とGitLab Advent Calendar 2023の12/11記事になります！ - GitLab Adv
Step FunctionsからECS RunTaskしようとしたら「ECS.AccessDeniedException」と出た時の対処法 | DevelopersIO
こんにちは。AWS事業本部コンサルティング部に所属している今泉（@bun76235104）です。 みなさん、Step Functionsを使っていますか？ Workflow Studioで視覚的にステートマシンを組み立てるのが非常に楽しくて私は大好きです！ 今回はAWSマネジメントコンソールからStep FunctionsでECE RunTaskのタスクを設定した時に以下のようなエラーが出た時の対処法を書かせていただきます！ User: arn:aws:sts::${アカウントID}:assumed-role/${ロール名}/hogehoge is not authorized to perform: iam:PassRole on resource: arn:aws:iam::${アカウントID}:role/${タスク実行ロール名} because no identity-based p
ステップスケーリングポリシーを使ってSQSキューの長さでECSサービスタスクを爆速オートスケーリングしてみた | DevelopersIO
はじめに おはようございます、もきゅりんです。 ECSサービスのオートスケーリングしてますか？ ユースケースも少ないかとは思いますが、とにかく爆速でオートスケーリングしたくなることもありますよね？ (春ですし) ということで、本稿はステップスケーリングポリシーを使ってSQSキューの長さでECSサービスタスクを爆速オートスケーリングしてみました。 最初に注意 下記ご注意下さい。 この構成は、高速スケーリングにするために、高解像度のカスタムメトリクスを取得します。高解像度のメトリクス発行およびアラームの課金には注意して下さい。また、とりあえずやってみましたが、本当にこの構成を実装することが真なのかどうか、これで要件が満たせるのかどうか、他に適切な構成がないかどうかなどはよくよく検討する課題があるものだと考えます。 やりたいこと AWS のサービスによって生成されたメトリクスは、デフォルトで標準
CDK(Python)でCodePipelineを作ってECSにデプロイしてみた | DevelopersIO
こんにちは、soraです。 今回は、CDK(Python)でCodePipelineを作ってECSにデプロイしてみたことについて書いていきます。 CDKのPythonコードメインで説明し、CodePipelineとはみたいな各サービスの説明は割愛します。 また、とりあえず動くものを作ることを目的としているため、ログ取得の有効化などはしていません。 今回やってみること 今回の構成は以下です。 CodeCommitリポジトリのコミットをトリガーとしてCodePipelineが動いて、ECSにデプロイする構成です。 CodeCommit・ECR・ECSは既に存在している状態として、他の部分をCDK(Python)で作っていきます。 環境 Cloud9上に構築した開発環境でCDK(Python)を使って構築します。 (.venv) $ python --version Python 3.7.16
TL;DR 公式のDockerを参考にしつつ entrypoint.sh の末尾にS3に吐き出す処理を書く 要件 任意の間隔でER図を定期的に生成したい ER図ドキュメントは特定のIPからのみアクセス可能にしたい EC2などサーバの面倒をみたくない。運用コストは最小限に。 流れ 今回は「ER図 自動生成」とかで検索するとヒットしやすいSchemaSpyを採用。特に深い理由は無いので好きなER図生成ツールを使う。ただしS3にアップロードする関係上静的ファイルを生成するツールを採用したほうが良い。 dockerfile S3に吐くためにawscliが必要だが公式のimageにはもちろんのこと入っていないので入れてあげる。 entrypoint.sh も自作のを使うのでCOPYする必要がある。
リクルートのプロダクト開発チームが明かす、大規模システム改修・新規サービス開発の舞台裏──RECRUIT TECH MEETUP #1 - TECH PLAY Magazine
飲食店のオーダーエントリーシステム『Airレジ ハンディ』、『ホットペッパービューティー』の新ジャンルとなる美容クリニックの予約サービス、宿・ホテル予約サイトの『じゃらんnet』の10年以上続くシステムなど。リクルートが提供するライフスタイル領域（旅行、飲食、ビューティー）のプロダクト開発における様々な取り組みを紹介する。 ■登壇者プロフィール 株式会社リクルート プロダクト統括本部 飲食プロダクト開発G 早川 浩平氏 2016年にリクルートに新卒入社し、海外向け新規サービスのiOSアプリ開発を担当。その後『Airレジ ハンディ』のサーバサイドとフロントエンドの開発を経て、2019年から『Airレジ ハンディ セルフオーダー』の開発の立ち上げと推進に従事。 株式会社リクルート プロダクト統括本部 飲食プロダクト開発G 松尾 裕幸氏 2019年リクルートに新卒入社。『Airレジ ハンディ』の
2020-09-06 | 1250 Words | 3 minutes | Masanori Mano #SPRINGBOOT #AWS #ECS #FARGATE #CLOUDWATCH 起動タイプがFargateのECS上で動かすアプリのCPU使用率やメモリ使用率などは、 Container Insights を有効にするだけで簡単にCloudWatchに送信することができる。 その一方で、例えば上で動くアプリがJava製の場合にヒープ使用率などのメトリクスをCloudWatchと連携する方法がわからなかったのでやってみた。 なんか、もっと良い方法があれば教えてください。 正直、datadog使って連携しちゃうのが一番てっとりばやいんだろうなとは調べてて思った。 Spring Boot Actuatorまず、上で動かすアプリだが、 Spring Boot を使う場合は、 a
「FintechプロダクトのRails開発事情とアーキテクチャ解説」というタイトルで Kaigi on Rails 2023でLTしました。 - inSmartBank
こんにちはスマートバンクでCTOをしております＠yutadayoです。先日行われたKaigi on Rails 2023のスポンサーをさせていただき、LT枠にて「FintechプロダクトのRails開発事情とアーキテクチャ解説」というタイトルで発表をしてきました。 今回はその内容に触れつつ、発表しきれなかった箇所の補足も加えてブログで紹介していきたいと思います。 speakerdeck.com B/43 の rails stats B/43 は2021/4/26にローンチされ、リリースしてから約2.5年経つサービスです。リリース当初からメイン機能のほとんどの機能がRailsで開発され今日に至ります。発表直前のメインで開発しているrepositoryのrails statsを取得してみた結果が下記になります。ちなみにこのRailsはAPIモードで開発されております。 rails stats
How Amazon ECS manages CPU and memory resources | Amazon Web Services
Containers How Amazon ECS manages CPU and memory resources On August 19, 2019, we launched a new Amazon Elastic Container Service (Amazon ECS) feature that allows containers to configure available swap space on Linux. We want to take this opportunity to step back and talk more holistically how ECS resource management works (including the behavior this new feature has introduced). Specifically, we
【Security Hub修復手順】[ECS.2] Amazon ECS サービスには、パブリック IP アドレスを自動で割り当てないでください | DevelopersIO
こんにちは、AWS事業本部の平井です。 皆さん、お使いのAWS環境のセキュリティチェックはしていますか？ 当エントリでは、AWS Security HubによるAWS環境のセキュリティ状況スコアリングに該当する項目についての修正手順をご紹介します。 本記事の対象コントロール [ECS.2] Amazon ECS サービスには、パブリック IP アドレスを自動で割り当てないでください [ECS.2] Amazon ECS services should not have public IP addresses assigned to them automatically 前提条件 本記事はAWS Security Hubで「AWS基礎セキュリティのベストプラクティススタンダード」を利用されている方向けの内容となります。 AWS Security Hubの詳細についてはこちらのブログをご覧くだ
![【Security Hub修復手順】[ECS.2] Amazon ECS サービスには、パブリック IP アドレスを自動で割り当てないでください | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2820f91ef88085b4f57836a810cc588822b32b6f/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-security-hub.png)
ECSタスクメタデータエンドポイントから確認 Fargateコンテナ内からタスクメタデータエンドポイントv4の task にアクセスします。 $ curl $ECS_CONTAINER_METADATA_URI_V4/task | jq . { "Cluster": "arn:aws:ecs:eu-central-1:123456789012:cluster/test", "TaskARN": "arn:aws:ecs:eu-central-1:123456789012:task/test/70aff84b5dc041d183bdc7791c117890", ... "EphemeralStorageMetrics": { "Utilized": 20692, "Reserved": 50711 } } 単位は MiB です。 Container Insightsから確認 前提として、Co
This is my solution which is highly based on a great AWS employee (Alfredo J). Most likely if you are reading this article, you might know this is not something possible to do without a workaround in AWS. You might think of using a scheduled task or complex solutions but after a while, Alfredo from Mexico supported me to bring this solution to all of you. First, create a Policy using the JSON opti
本文の内容は、docs.sysdig.com上のAWS Fargate Serverless Agentsを元に日本語に翻訳・再構成した内容となっております。(2022年5月17日現在) サーバーレス・エージェント概要サーバーレスの環境やクラウドプラットフォームの進化に伴い、利便性と抽象度が同時に向上し、新しいエージェントモデルが求められています。 例えば、AmazonのECSやEKSでは、ユーザーは基盤となる仮想ホストマシンの管理を引き続き担当しています。しかし、Fargateのような環境では、ホストはクラウド事業者によって暗黙のうちに割り当てられており、ユーザーは、基盤となるコンピュートインフラの割り当てや設定、知識を持たずに、単にコンテナを実行するだけです。 この「サービスとしてのコンテナ」モデルは便利ですが、多くのユーザーがコンテナを放置し、コンテナ内のセキュリティイベントを監視し
![[更新] AWS Fargate サーバーレスエージェント](https://cdn-ak-scissors.b.st-hatena.com/image/square/2a863427eeba831884c2cc0d1094c36266899509/height=288;version=1;width=512/https%3A%2F%2Fsysdig.jp%2Fwp-content%2Fthemes%2Fsysdig%2Fassets%2Fimages%2Fsysdig-logo-social-share-2020.png){kind=logo}
Amazon ECS がデータ集約型ワークロードのための Amazon EBS ボリュームとのネイティブ統合をサポート | Amazon Web Services
Amazon Web Services ブログ Amazon ECS がデータ集約型ワークロードのための Amazon EBS ボリュームとのネイティブ統合をサポート 1月11日は、Amazon Elastic Container Service (Amazon ECS) が Amazon Elastic Block Store (Amazon EBS) との統合のサポートを開始し、より広範なデータ処理ワークロードをより簡単に実行できるようになったことを皆さんにお知らせしたいと思います。AWS Fargate および Amazon Elastic Compute Cloud (Amazon EC2) で実行されている ECS タスクに Amazon EBS ストレージをプロビジョニングでき、ストレージやコンピューティングの管理は必要ありません。 コンテナ化されたパッケージとしてアプリケーシ
AWS CDKで別リージョンにレプリケーション用S3バケットを作成するスタックをデプロイしてAmazon CloudFrontオリジンフェイルオーバーを設定する - NRIネットコムBlog
小西秀和です。 前回の記事、「AWS CDKで別リージョンにAWS Certificate Manager(ACM)証明書スタックをデプロイしてAmazon CloudFrontに設定する」では次の記事で紹介したリージョン間でパラメータを送受信する方法を使ってACM証明書をCloudFrontに設定する方法を紹介しました。 AWS CDKで別リージョンにスタックをデプロイしてパラメータをリージョン間で受け渡す方法 －AWS CDKカスタムリソースの実装例 今回はその記事の続編として、前回記事で作成したAWS CDKカスタムリソースを使用して、リージョンの異なる2つのS3バケットを作成し、Amazon CloudFrontオリジンフェイルオーバーを設定する方法を紹介します。 パラメータをクロスリージョンで扱うAWS CDKカスタムリソースについては元記事を参照してください。 ※本記事および当
CloudFormationがCD Pipelineなしで そのままGit連携デプロイが可能に！ #AWSreInvent | DevelopersIO
CloudFormationがCD Pipelineなしで そのままGit連携デプロイが可能に！ #AWSreInvent ども、re:Invent現地参加組の もこ@札幌オフィス です。 まだ現地ではキーノートが始まっておらず、まだラスベガスにも到着出来ていない現状ですが、ぽろぽろと出てきているアップデートをご紹介していきます！ CloudFormationのStack更新がGitからできるようになった！ このサービス、簡潔にまとめると「CloudFormationのStack deployment fileを元にして良い感じに指定したブランチに更新があったらデプロイするよ！」といったサービスです。 Stack deployment fileを簡単に説明するとCloudFormationのTemplateにおけるパラメータを定義できるモノです。 今回のアップデートであるGitとの同期機能
Amazon ECS Cluster Auto Scaling is Now Generally Available | Amazon Web Services
AWS News Blog Amazon ECS Cluster Auto Scaling is Now Generally Available Today, we have launched Amazon ECS Cluster Auto Scaling. This new capability improves your cluster scaling experience by increasing the speed and reliability of cluster scale-out, giving you control over the amount of spare capacity maintained in your cluster, and automatically managing instance termination on cluster scale-i
本番稼働を意識したECS Fargateを用いたFastAPIの環境構築（ALB、SSM、BlueGreenデプロイ） - Qiita
本番稼働を意識したECS Fargateを用いたFastAPIの環境構築（ALB、SSM、BlueGreenデプロイ）DockerECSCodeDeployFargateFastAPI 0. 背景 ECS Fargateは、2018年に東京リージョンでの提供街開始され、サーバーやクラスターを管理することなくコンテナを実行することができる、いわゆるサーバーレスの実行環境です。Fargateの特徴の詳細はこの記事では述べませんが、使ってみたい技術ではあるものの、コンテナにログインしてデバッグするなどができず、本番環境での利用は躊躇してきました。コンテナに入ることができないというのはセキュリティ面ではメリットであるものの、本番で再現したバグのデバッグなどは直接入ってデバッグしたいという思いは出てくるものです。きちんとテストした上でデプロイし、またログを適切に吐かせることでコンテナに入らなくてもデ
ECSとFargateでコンテナの起動順が制御できるようになりました - Carpe Diem
概要 先日AWSの発表で aws.amazon.com と、コンテナの依存関係が制御できると発表がありました。 何が嬉しいかというと、サイドカー系コンテナに依存している場合アプリケーション側でそのコンテナの起動を待つ処理が必要だったのが、不要になるという点です。 christina04.hatenablog.com こちらで以前デメリットとして指摘した点ですが、AWS側でサポートしてくれました！ まだ新しい機能なのでドキュメントも日本語対応していないため、確認する際は英語ドキュメントを参照してください。 Task Definition Parameters - Amazon Elastic Container Service 環境 以下の環境で利用可能です。旧バージョンで利用しようとするとコンテナが起動しないので注意してください。 ECS Container Agent 1.26.0-1以
マッハバイトのモノリシックなアプリケーションをオンプレからAWSに移行しました - LIVESENSE ENGINEER BLOG
移行の背景 どんなアプリケーションを移行したのか 移行後の構成 移行で直面した課題 認証・認可機構が複雑になっている 処理に時間がかかるエンドポイントがあり、ALBのIdle Timeoutのデフォルトでは足りなかった 非同期処理用のdelayed_jobのワーカーがバッチサーバー上で起動している AWS移行による副次的な効果 おわりに 移行の背景 インフラストラクチャーグループの @mom0tomo です。ここ2年ほど、マッハバイトのクラウド移行に取り組んでいます。 リブセンスでは長年データセンターを借りてオンプレミスでサーバーを運用してきました。ただ最近のクラウド化の流れを受け、いくつかのサービス（転職会議や転職ドラフトなど）はオンプレからクラウドへ移行し、また新規事業であるknewやbatonnなどは、初めからクラウドサービスを利用しています。 しかし、創業期からの歴史のあるマッハバ
Intro This guide is intended for people who are already familiar with Python 3 and looking to start a new project. This guide comes from experience building api backends for a variety of startups in different industries, it serves as a starting point for what the state of “best practise” is for how I think about organising Python projects, structuring code, testing, and common libraries I’ve reuse
FireLens という ECS で EC2/Fargate のどちらの起動タイプでも使用できるログドライバが、パブリックプレビューで誰でも使用できるようになったので試してみたメモです。 Amazon ECS タスクから FluentBit, Fluentd を利用したログルーティングを可能にする "FireLens" ロギングドライバの Public Preview 開始です 👏👏👏 ECS, Fargate が利用できる全リージョンで今日からお試しいただけます！ / "Amazon ECS and AWS Fargate FireLens ..." https://t.co/ZJDxRyBalk — ポジティブな Tori (@toricls) August 31, 2019 これまでの状況 Fargate のログドライバはしばらくの間 CloudWatch Logs しか使用で
LIFULLでSETとしてテスト自動化やCI/CDの改善をやってます。 弊チームの自動テストはECSタスクで実行しています。 その自動テストの運用改善の一環で調べたことを書き綴ります。 自動システムテストのアーキテクチャ 下記の流れでテスト実行・テスト終了通知を行っていました。 Scheduled task(定時実行) ↓ ECS Run task(自動テスト実行) ↓ Cloudwatch Rules(ECS Taskの完了を検知) ↓ Lambda(チャットツールへ通知) 要求・要件 従来のままだとテストがすべてPassしても通知が来てしまいました。 ある自動テストプロジェクトの際に「テストがFailしたときだけチャットに通知させたい」という要求が生まれました。 よく考えれば当たり前の要求です。（たまたま私達の運用ではいらなかった） 要件に落とし込むと 「ECS Run taskで実行
こんにちは。@jedipunkz です。 今回は AWS ECS についてです。直近の仕事で ECS の Terraform コード開発をしていたのですがコードの構造化について考えていました。一枚岩のコードを書いても運用に耐えられるとは考えられません。また ECS を構成するにあたって ECS のネットワークモードとコンテナのロギングについて考えているうちに、どの構成が一番適しているのか？について時間を掛けて考えました。ここではそれらについてまとめたいと思います。 Terraform コードの構造化 運用の精神的な負担を軽減するという観点で Terraform のコード開発をする上で一番重要なのはコードの構造化だと思います。前回のブログ記事に書いたのですがコードの構造化をする上で下記に留意して考えると良いと思います。 影響範囲 ステートレスかステートフルか 安定度 ライフサイクル 結果、具
アイリッジ プロダクト開発グループの高田です。 EC2からECSにインフラをリプレイスすることは割とあるケースだと思います。 これから似たようなことやる人にとって、少しでも参考になる記事になれば幸いです。 対象読者 EC2でサーバを立てたことがある人 ECSでコンテナを立てたことある人 目次 なぜやったのか リプレイス前後のインフラについて 結果と課題 なぜやったのか コスト(サーバ費用と運用の手間)を下げるためです。チーム内ではとりわけ運用コストを下げるため、前々から既存サービスのFargate化を行ってきました。 運用コスト デプロイに手間と時間がかかる問題 私が普段携わってる自社サービスは複数のコンポーネントによって成り立っています。その内多くがDocker化されていて比較的デプロイが簡単にできるようになっていますが、一番デプロイ頻度の高いコンポーネントがまだDocker化されておら
Fargateタスクで機械学習モデルの訓練・推論をしたのでポイントを整理してみた | DevelopersIO
データアナリティクス事業本部の鈴木です。 Fargate起動タイプを使用したタスクでXGBoostを動かしたいことがありました。FargateタスクはLambdaより長い時間実行できるのでバッチ処理を動かす際に便利です。いざやってみるとプライベートサブネットで動かす場合には、関連サービスとの連携のための設定が少し難しく感じたので、ポイントをまとめてみました。 Fargateについて Amazon ECSの、コンテナをサーバレスで実行できる機能です。 データ分析基盤や機械学習システムでは、15分以上を超える可能性があるバッチ処理は頻繁に登場するので、その要件を実現できる心強い機能です。AWS Fargate を使用して、イベント駆動型およびスケジュールされたワークロードを大規模に実行のドキュメントでも このパターンは次のビジネスユースケースに役立ちます。 ・ランタイム（15 分の制限）または
AWS - ECS Taskを使ったバッチ処理
ECS Taskを使ってバッチ処理するケースがあると思う。 構成のパターンは様々ありそうだが、必要となるAWSリソースであったり、監視・リトライの実現方法あたりを、整理しておこうと思う。 （Lambdaを使えばリトライ設定とかあるので簡単だが、処理時間が長いなどLambdaが使えないケースを想定している） 時間指定で、ECS Taskを起動したい EventBridgeでTargetに、ECS taskまたは、Step Functions state machineを指定すれば良い。 Targetの呼び出し自体に失敗したときのリトライはRuleに対して設定できるが、起動後の失敗に関してはStep Functionsで対応する必要がある。 なので、最初からStep Functions state machineを指定する形にしておくと良さそうな感じがする。 ECS Taskが失敗したら、リト
【CI/CD for Amazon ECS】ECSへの自動デプロイで利用するファイルをまとめてみた - サーバーワークスエンジニアブログ
こんにちは。AWS CLIが好きな福島です。 はじめに 概要図 ファイル一覧 フォルダ構成 各ファイルの詳細 CodeBuildで利用 1. buildspec.yml: ビルド処理の定義書 buildspec.ymlの例 version pre_build(ビルドの前処理) build(ビルド) post_build(ビルドの後処理) artifacts 2. Dockerfile: dockerビルド時に利用する定義書 Dockerfileの例 FROM COPY Dockerfileの詳細 CodeDeployで利用 3. appspec.yml: デプロイ処理の定義書 version TaskDefinition ContainerName ContainerPort 詳細 4. taskdef.json: タスク定義を作成する定義書 5. imageDetail.json: Am
ロックインを避けることに縛られないで！
注意書きここから この文章は、2019年9月9日にmartinfowler.comで公開された、Gregor Hohpe氏の寄稿したDon't get locked up into avoiding lock-inを翻訳したものです。 翻訳により混入した誤りの責任はYuji Okazawaに帰属します。 注意書きここまで Don't get locked up into avoiding lock-in（ロックインを避けることに縛られないで） アーキテクチャに関係する労力の大部分は、ロックインを軽減したり避けたりすることに費やされています。 結構壮大な目標です。なぜならアーキテクチャは選択肢を与えてくれるもので、ロックインはその反対を意味するからです。 ですが、ロックインは単純に白黒つけられる問題ではありません。 ロックインを回避しようとするため別の何かに縛られてしまう場合もあるからです。
[アップデート] AWS Fargate の ECS タスク内で遅延読み込みするコンテナを指定可能になりました | DevelopersIO
AWS Fargate の ECS タスク内で遅延読み込みするコンテナを指定可能になりました。遅延読み込みする場合、以前は全てのコンテナに対して遅延読み込みを設定にしなければならなかったのが、今回のアップデートで遅延読み込みするコンテナを指定できるようになりました。 こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。 2023年11月のアップデートです。書きかけで年を越してしまいました。 Fargate 上の ECS タスクで遅延読み込みするコンテナを指定できるようになりました！ SOCI について Seekable OCI (SOCI) は、コンテナイメージの遅延読み込みするための技術です。 コンテナイメージを完全にダウンロードしてからコンテナを起動するのではなく、コンテナ起動に必要最低限なインデックスからコンテナを起動し、バックグラウンドで残りのフ
![[アップデート] AWS Fargate の ECS タスク内で遅延読み込みするコンテナを指定可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f9adae6dd6cf7867dd3fca096bafb93dc22af94/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-fargate.png)
LlamaIndex のインデックスを読み込んで応答する Slack アプリを AWS Fargate で実行する | DevelopersIO
SlackアプリでLlamaIndexを動作させる実行環境として、AWS Fargateのコンテナ環境を利用する構成例をすぐに試せるCloudFormationテンプレート付きでご紹介します ども、大瀧です。 LlamaIndexはOpenAIのLLMに独自のデータを読み込ませる仕組みです。本ブログではSlackアプリでLlamaIndexを動作させる実行環境として、AWS Fargateのコンテナ環境を利用する例をご紹介します。 構成 AWSの構成は非常にシンプルです。Slackアプリのソケットモードはインターネットからのアクセスが不要なので、AWS FargateのサービスをELBなしで構成します。あらかじめ作成しておいたLlamaIndexのインデックスファイルをS3にアップロードし、コンテナではインデックスファイルを読み込んでSlack API、OpenAI APIとそれぞれ連携し
こんばんわ、札幌のヨシエです。 MackerelのAWSインテグレーションにAmazon ECSが対応しており、EC2インスタンスとFargateの2種類で 設定方法の認識に曖昧な部分があったので確認のために検証作業を行いました。 ECS環境を作成 現在のECSではコンテナホストにEC2インスタンスとFargateが利用できます。 どちらの作業手順も確認するためにそれぞれのECSクラスターを作成しました。 クラスター情報(EC2) % aws ecs describe-clusters --clusters test-ondemand { "clusters": [ { "status": "ACTIVE", "statistics": [], "tags": [], "clusterName": "test-ondemand", "settings": [ { "name": "cont
AWS SQS ベースで ECS タスクをオートスケーリングする | Basicinc Enjoy Hacking!
AWS SQS をキューサービスとして利用し、ワーカー処理は AWS ECS のコンテナで実行する際に、SQS のキューの数に応じてオートスケーリングさせたい場合の設定方法メモです。つまり、キューがいっぱい積まれたら ECS のタスクを増やすし、減って来たらタスクを終了させるということです。とても簡単に設定できます。 今回の設定方法は AWS サポートの方に親切にアドバイスいただきました。とても分かりやすいサポートで感謝しております。 ターゲット追跡スケーリングポリシーの設定 ECS のサービスではオートスケーリングの設定が可能ですが、今回利用するターゲット追跡スケーリングポリシーはコンソール画面からは設定ができません。aws CLI コマンドを利用します。 aws application-autoscaling put-scaling-policy ドキュメント aws applicat
概要 フロントエンドをVueを使って作り、APIなどのバックエンドをpythonのFlaskという軽量なフレームワークを使って作りました。今回は、ローカル環境下で動いていたアプリケーションをgithubから自動的にAWSの方にdeployすることができるようなインフラ構成を設計してみます。 不十分な点などありましたら、アドバイスいただけると幸いです。 使うもの AWS関連 EC2 RDS ECR ECS(fargate) S3 CloudFront Route53 IAM CI/CD関連 Circle CI システム構成図 まず、public subnetとprivate subnetを持つVPCを作成します。外部からのアクセスを許容するpublic subnetには、ロードバランサーと踏み台(ログイン)サーバーを設置します。外部から直接アクセスできないprivate subnetには、A
AWS CopilotでSpringBootアプリケーション(Kotlin)をECSにデプロイする - Qiita
概要 AWS Copilotを使い、AWS ECS x Fargateへアプリケーションをデプロイしてみます。 AWS Copilotとは？ 「Copilot」を和訳すると「副操縦士」 AWSが提供するECS CLIの後継 従来のECS CLIより簡単にFargateへのコンテナデプロイを実現できる 詳しくはAWSのブログを参照 AWS Copilotのソースコードはgithubに公開されている 簡単に言うと、「ちゃんと動くDockerfile」があれば、$ copilot init とか $ copilot deploy といった簡単なコマンドだけでECSにアプリケーションをデプロイできるよ！というツールです。 モチベーション 従来であれば、こうしたECS環境を使った公開アプリケーションを開発しようとしたとき、ある程度のネットワーク構成なども同時に構築する必要があり、手間がかかるもの (
Subscribe to the Idea Muse One idea every few weeks designed to make you smarter. Join 1,500+ people cutting through the noise. Read more A year ago, I started working full-time at Bloomberg. That’s when I imagined writing this post. I imagined myself to be full of ideas that I could spit out on paper when the time comes. Just one month in, I realised it won’t be that easy: I was already forgettin
ECS Fargate でコンテナ内部をいじくってたら、いくつかやりたいことがあって、まとまりができたので更新です。 メタデータの扱いがわかれば大体イケるみたいな感じですが、たどり着くまでわりと時間かかったので、サクッとまとめ。 Fargate に渡される環境変数 最終的にはコンテナに sshd とか用意しないのがベターではあるのですが、やっぱりSSHは大正義。シェルで作業しないと、こーゆーのは捗りません。 Fargate で基本的な値が入った環境変数はこのように取得できるので確認します。これがあれば、あとはトントン拍子に進みますね。 (参考) Amazon ECS で “アクセス拒否” エラーを発生させないように IAM タスクロールを設定する $ sudo strings /proc/1/environ | sort AWS_CONTAINER_CREDENTIALS_RELATIVE
1. はじめに こんにちは、morioka12 です。 本稿では、CTFtime のイベントに記載されている2021年に開催された CTF のイベントで、Cloud に関する問題をピックアップして攻撃手法やセキュリティ視点での特徴について紹介します。 また、同様に Hack The Box の Lab で Cloud に関する問題は、以下のブログで紹介しているので、良ければこちらもご覧ください。 scgajge12.hatenablog.com 1. はじめに 1.1 調査対象 1.2 Public Cloud Service 2. AWS (Amazon Web Services) 2.1 Amazon EC2 (Amazon Elastic Compute Cloud) 問題1 CTF event (writeup) reference 2.2 Amazon S3 (Amazon Si
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでのGitLab実装パターンについてまとめてみた | DevelopersIO
AWS ECSにSchemaSpyを乗せてサーバレスでER図を作成する - Qiita
ECS上のSpring Boot ActuatorのメトリクスをCloudWatchに送信する
AWS Fargateがストレージ容量を監視できるようになりました | DevelopersIO
How to schedule ECS Services in AWS easily (start/stop)
[更新] AWS Fargate サーバーレスエージェント
Building modern Python API backends in 2022
AWS ECS で FireLens ログドライバを試したメモ - Qiita
ECSタスクの終了ステータスを見てLambdaを発火させる - Qiita
ECS の構成と Terraform コード化する際の構造化について
EC2の既存システムをECSにリプレイスした話 - アイリッジ開発者ブログ
【小ネタ】MackerelのAWSインテグレーションを使ってECSを監視する | DevelopersIO
典型的なwebサービスのawsを使ったインフラ構成を考えてみるS3, ECS - Qiita
Things I Learnt from a Senior Software Engineer
ECS Fargate におけるメタデータの取り扱い | 外道父の匠
CTF Cloud 問題の攻撃手法まとめ(2021年版) - blog of morioka12