タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
定時バッチをECS scheduled task + ecscheduleでお手軽管理する - BOOK☆WALKER inside
メディアサービス開発部モバイルアプリケーション開発課のtukiyo(id: tukiyo320)です。現在はニコニコ漫画のバックエンド開発を担当しています。 本記事では、Webサービスに付き物の定時バッチについて、ニコニコ漫画では現在どのような方針で管理・実行しているかをご紹介します。 ニコニコ漫画の構成おさらい 以下の記事に詳しいですが、ニコニコ漫画のバックエンドは4系統存在しています。どれも現在はAWS上に乗っており、PHPの現行システム以外はECS(fargate)で管理されています。 現行PHP(独自フレームワーク) 新バックエンド(Ruby on Rails) React向けBFF(Nest.js) 課金サブシステム(Ruby on Rails) developers.bookwalker.jp 本記事で扱うのは、ロジックの書き直しを目的とした新バックエンドが持つバッチとなります
ECS Scheduled Taskの管理をecscheduleでGitOps化しました - コネヒト開発者ブログ
こんにちは。コネヒトのテクノロジー推進グループでインフラエンジニアをしている laughk です。 今回は定期実行バッチで利用しているECS Schedule Taskの管理に Songmu/ecschedule を導入し、GitOps化した話をまとめます。 サマリ ecscheduleを導入する前の定期実行バッチの管理状況と課題 技術選定 - ecshceduleを選定した理由 導入プロセス GitOps化 導入後どうなったか ecscheduleを導入する前の定期実行バッチの管理状況と課題 コネヒトでは提供するサービスのWeb基盤にAmazon ECSをフル活用しており、定期実行バッチにおいてもECS Scheduled Taskを利用しています。ECS Scheduled TaskはECS Taskを cron のように定期実行でき、とても便利なものです。一方でその管理においては利用
その名もecschedule。だいぶ前から作っていたのだが、この度実戦投入した。 https://github.com/Songmu/ecschedule Nature社では、ECS上でGoのサービスを動かしており、バッチ系の定期実行タスクもECS Scheduled Taskを利用している。 最近バッチの本数が増えてきて管理したくなり、このツールを導入しました。 便利だとは思うが、かなり社内事情にべったりであるため、フィードバック歓迎です。具体的には以下の制約を前提としています。 Rule名がユニークであること RuleにはTargetが1つだけ紐付いており、TaskのContainer Overridesでタスクを実行している ecspressoにかなり影響を受けており、ECS Scheduled Task用のecspressoのような作りになっています。 インストール % brew
最近ギョームでやったこと (5) 〜 Fargate で動いている ECS Scheduled Task (バッチ処理) のリソース使用量を計測出来るようにしました 〜 - ようへいの日々精進XP
tl;dr なぜ こんな感じで... こんな感じで... (1) こんな感じで... (2) こんな感じに... なりました 実装にあたって得た知見等 Task metadata endpoint コンテナデザインパターン リソース (CPU 使用率, Memory 使用量) の計算方法 コンテナの起動順序の制御 以上 tl;dr ご無沙汰しております. ちゃんと仕事をしていますよ, かっぱです. Fargate で動いている Scheduled Task (いわゆるバッチ処理) がどのくらい CPU やメモリを使用しているのか知りたくて, 幾つかの技術を組み合わせて実装してみましたので紹介させて頂きます. 一応, この仕組を仕込んだ後, 気づいていなかった幾つかの問題について気づくことが出来たりして, 時間をかけても仕込んで良かったなと思えることがありました. なぜ なぜ, バッチ処理の
[AWS] EventBridge Rules による ECS Scheduled Task はエラー時リトライできない
なので Step Functions を使いましょうと言うお話です。 ある ECS で動いているバッチジョブの定期実行に EventBridge Rules を使って実装していたのですが、ある時ジョブがほぼ一定の頻度で失敗している事に気づきました。 AWS サポートに問い合わせると、今回のケースでは EventBridge Rules ではリトライできないので、 Step Functions を間に噛ませて下さいとご提案頂いたので、今回はその様にしました。 それでは以下経緯を交えながら実際のアーキテクチャをご紹介していきます。 構成 ECS クラスタは Fargate ではなく EC2 駆動Capacity providers を使って ASG (Spot Fleet は使っていない) をコントロールしているECS Task は普通のバッチジョブで、ワークロードが終わったら落ちるジョブの定
![[AWS] EventBridge Rules による ECS Scheduled Task はエラー時リトライできない](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ca0f2b383c41e066da29be6bd4c05c59fa6730a/height=288;version=1;width=512/https%3A%2F%2Fi0.wp.com%2Fengineering-wp.mobalab.net%2Fwp-content%2Fuploads%2F2020%2F04%2Faws_logo_smile_1200x630.png%3Ffit%3D768%252C403%26ssl%3D1){kind=logo}
ECS Scheduled Task 上の定期実行バッチを ecschedule で GitOps 化した話 / A story about a scheduled execution batch on the ECS Scheduled Task converted to GitOps with ecschedule
KGDC Tech Conference #0 通信インフラだけじゃないKDDIグループの多彩な技術 ( https://kgdc.connpass.com/event/203487/ ) で登壇の際に使った資料です。 資料内のリンク: * ECS Scheduled Taskの管理をecscheduleでGitOps化しました - コネヒト開発者ブログ - https://tech.connehito.com/entry/2021/03/01/155041 * タスクのスケジューリング (cron) - Amazon ECS: https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/scheduled_tasks.html * AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container s
Fargateを利用したECS Scheduled Taskでタスクが起動しない事象について - shmokmt's blog
「Capacity is unavailable at this time. Please try again later or in a different availability zone」というエラー 2年近くFargateでECS Scheduled Taskを運用していますが、 初めてECS Scheduled Taskが起動しないという事象が発生しました。 EventBridgeはcron式によって期待する時刻に発火していたのですが、ECSタスクが起動した形跡がありませんでした。 CloudTrailでECSのRunTask APIの呼び出し履歴を確認したところ、以下のようなエラーが出ていました。 「Capacity is unavailable at this time. Please try again later or in a different availabili
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![Appleの安全サービス「衛星経由の緊急SOS」が日本でも提供開始 | YAMA HACK[ヤマハック]](https://cdn-ak-scissors.b.st-hatena.com/image/square/583371addd8dac8229699edc2677a9b5e4a4d46b/height=288;version=1;width=512/https%3A%2F%2Fimages.yamahack.com%2Fwp-content%2Fuploads%2F2024%2F07%2F0c89d515d4ea4fdc02cb6d46ee463aaa.jpg)
ECSのScheduled Taskを管理するツールを作った | おそらくはそれさえも平凡な日々
moredoor.jp
item.rakuten.co.jp
www.cbnews.jp
dabaiosamu.com
www.cbnews.jp
www.ejim.ncgg.go.jp