「Amazon Prime Video」が監視ツールをマイクロサービスからモノリスに移行 “やむにやまれぬ”理由とは？
Amazon.comは2023年3月22日（米国時間）、同社が提供する「Amazon Prime Video」（以後、Prime Video）の監視ツールをマイクロサービスアーキテクチャからモノリシックなアーキテクチャに移行したと明らかにした。 Prime Videoでは、視聴者がコンテンツをスムーズに受信できるように、全てのストリームを対象としたオーディオ／ビデオ品質の監視ツールを構築している。同ツールで視覚的な品質の問題（ブロックの破損や音声と映像の同期の問題など）が自動的に特定され、修正プロセスが開始される仕組みになっている。 当初、Prime Videoのビデオ品質分析（VQA）チームが所有していた監視ツールは、スケーラビリティが求められることを意図して設計されたものではなかった。そのため、Prime Videoのサービス規模が拡大し、監視ツールのITインフラも大きくなる中で、高い
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな ネクストモード株式会社 の吉井です。 みなさま、AWS 利用料金の削減はどのように行っていますでしょうか？ 過剰なスペックを見直す、RI/SP、Spot Instance などの割引制度を使うなど色々ありますが 一番てっとり早く削減効果を出せるのは 使っていないリソースを削除すること だと考えます。 管理している AWS アカウント数が少なければ Trusted Advisor や Billing からチェックすることが可能ですが、アカウント数が増えてくるとこの方法だと厳しくなります。 nOps を使うと AWS 利用料金を可視化しながら未使用リソース削減が簡単に実現できそうなので試してみました。 nOps セットアップ nOps のセットアップはこちらのエントリを参照
[AWS Black Belt Online Seminar] Amazon ECS Deep Dive 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon ECS Deep Dive 資料及び QA 公開 先日 (2019/7/31) 開催しました AWS Black Belt Online Seminar「Amazon ECS Deep Dive」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190731 Black Belt Online Seminar Amazon ECS Deep Dive AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Fargateのタスクスケジューリングにおいても、AWS Secrets Managerを利用できるのでしょうか？（以前検証した時、タスクスケジューリングではAWS Secrets Manager
![[AWS Black Belt Online Seminar] Amazon ECS Deep Dive 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/546fde933aa8aabe0f5b32fd007fe4287063fe3e/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2019%2F08%2F09%2Fthumbnail_ECS_hama0801.png)
カンムでバンドルカードのバックエンドやインフラを担当している summerwind です。 バンドルカードではスマホ上で Visa のプリペイドカードを発行して決済に使える機能を提供しており、クレジットカード情報を扱っていることから、インフラの観点では高いセキュリティを維持することが重要になっています。バンドルカードのシステムは API や国際カードブランドと接続している決済システムなどの複数のコンポーネントで構成されていますが、システムが構築された時期によって構成や設定の方針などが異なるため、より高いセキュリティを達成するためにシステム構成の変更や整理、設定の見直しを日々進めています。 構成や設定の見直しを進めていく中で、全体的な方針や目指している姿を言語化しておいた方が周囲のエンジニアにも理解が得られやすいのではないかと感じたため、インフラに対する考え方や方針を言語化した「インフラマニ
「今すぐコンテナを使い始めたい人のためのAmazon ECSとAWS Copilot」というタイトルで登壇しました #AKIBAAWS | DevelopersIO
コンサル部のとばち（@toda_kk）です。 先日、弊社主催のオンラインイベント AKIBA.AWS ONLINE #2 にて、コンテナ初心者向けにAmazon ECSとAWS Copilotについて登壇しました。発表資料や、登壇内容を決めた経緯などを共有します。 動画 発表資料 サンプルコード 発表にあたって、実際にAWS Copilotを使い始められるようにサンプルコードを用意しました。ぜひご活用ください。 わかりづらいところや、もっとこうしてほしいといったご要望があればフィードバックいただけると嬉しいです！ 発表内容を決めた経緯 インフラエンジニアからみたコンテナ利用 私は、普段のコンサルティング業務ではECSやEKSといったコンテナ関連のサービスについて担当することが多いです。そのため、ありがたいことに社内のチームメンバーからコンテナについてしばしば相談を受けることがあります。 そ
公式の説明による大きな変化点は、 Graviton 2 → 3 の時は、性能25％UP で費用6％UP、Network/EBS 帯域幅が向上、 Graviton 3 → 4 では、性能30%UP で費用10％UP、最大スペックが３倍、 に加えて、細かいところでも色々少しずつ向上しているという感じです。 特にスペック３倍は、データベース用途におけるスケールアップが強力で、一時的な緊急負荷対策としても強いし、クラスタデータを３分割するくらいなら１クラスタで分割なしで貫けばいいじゃない、など安定と選択の幅が広がるのは間違いないでしょう。 ベンチマーク それでは、疑り深い外道父さんによる、いつもの Phoronix による検証です。 今回は R系 という点と、あまり古いのと混ぜると共通成功テスト数が減ってしまうことから、R6g, R7g, R8g での比較としています。C7i 以前なども知りたけれ
AWS ECS & TerraformによるSansanの統合監視運用とその仕組み - Sansan Tech Blog
はじめに IcingaとMunin Zabbixへの移行 環境構築 Zabbixの監視内容 監視のリリース方法 リソース配分 バージョンの固定化 本監視システムにおけるツラミ Zabbixの独自仕様に消耗する Zabbixの仕様にインフラ構成を追従している リリース手順の複雑化 サービスの成長に合わせたサイジングやチューニング おわりに はじめに Sansan株式会社プロダクト開発部インフラチームの岡本です。 事業欲求に応じ優先度と軽重が決められたタスクに向き合いつつ、チームへの依頼事項に対し日々柔軟に対応するよう努めています。 また、Sansanサービス全般のインフラ運用・保守を行いつつも、併せて運用業務の撲滅に取り組んでいます。 今回は、Sansanサービスにおける監視ツールの導入経緯からインフラ構成、監視の設計方針、リリース方法、本構成におけるツラミ等をお伝えできればと思います。 I
ElastiCacheのスケールアップは本当にダウンタイムなしでできるのか検証してみた！ #reinvent | DevelopersIO
ElastiCacheのスケールアップは本当にダウンタイムなしでできるのか検証してみた！ #reinvent こんにちは(U・ω・U) 着々とElastiCacheおじさんへの道を歩んでいる深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 さて、僕はそんなラスベガスで開催されたre:Invent 2019にて「Whatʼs new with Amazon ElastiCache」というセッションに参加してきました。 このセッションでElastiCacheクラスタは 「Redisはオンラインでのスケールアップが行えるようになった」 と聞きました。ですがこれはどの程度のレベルなのか気になりますよね。もしミリ秒単位でアクセスを捌いているようなシビアな環境だったらこの問
AWS Fargate Enables Faster Container Startup using Seekable OCI | Amazon Web Services
AWS News Blog AWS Fargate Enables Faster Container Startup using Seekable OCI While developing with containers is becoming an increasingly popular way for deploying and scaling applications, there are still areas where improvements can be made. One of the main issues with scaling containerized applications is the long startup time, especially during scale up when newer instances need to be added.
Amazon Web Services ブログ AWS Fargate for Amazon ECS のアップデート 先日、AWS Fargate for Amazon ECS 経由でデプロイされたタスクの設定とメトリクスの収集体験を向上させる機能を発表しました。お客様からのフィードバックに基づき、以下の機能を追加しました。 環境ファイルのサポート シークレットバージョンと JSON キーを使用した、AWS Secrets Manager とのより深い統合 より詳細なネットワークメトリクスと、タスクメタデータエンドポイントを介して利用可能な追加データ この記事を通して、これらのアップデートについて深く掘り下げ、Amazon ECS for AWS Fargate にコンテナをデプロイすると、どこに価値をもたらすことができるかを説明します。まず、簡単なデモアプリケーションのデプロイから始めて
こんにちは、普段PR TIMES STORY（以下STORY）の開発リーダーをしている岩下(@iwashi623)です。 PR TIMES STORYは弊社のMissionである「行動者発の情報が、人の心を揺さぶる時代へ」をそのまま体現したようなプロダクトで、「創業ストーリー」や「開発秘話」などの行動者の熱量をそのまま配信して、企業とメディア、生活者のより良い・多くのリレーションが生まれることを目的としています。 PR TIMES STORYトップページ 本記事では、私も今月から2年目となったので新卒の時よりさらにチームに貢献していきたい！と思っていたところ、STORYの現状の環境では開発速度が出しづらい状況を抱えていたので、そちらを解消するためにチームで行ったことを書いていきます。 現状 STORYは一部PR TIMESとは別リポジトリ、別インフラで独立して管理されており、独立している部
This all started with a blog post back in 2020, from a tech curiosity: what's the fastest way to scale containers on AWS? Is ECS faster than EKS? What about Fargate? Is there a difference between ECS on Fargate and EKS on Fargate? I had to know this to build better architectures for my clients. In 2021, containers got even better, and I was lucky enough to get a preview and present just how fast t
GitHub Actions の self-hosted runners を AWS ECS で動かして、CI / CD パイプラインを作る - エクサウィザーズ Engineer Blog
DevOps エンジニアの 根本 征 です。 7月からエクサウィザーズ にジョインし、CI / CD パイプラインの改善や自動テストの布教などを行っています。 今回は GitHub Actions の self-hosted runners を AWS ECS 上に構築し運用してみたので、その試行錯誤について紹介したいと思います。 GitHub Actions と self-hosted runners self-hosted runners を Docker で動かす self-hosted runners を AWS ECS で動かす アプリケーションを AWS ECS へデプロイする Workflow を作る おわりに GitHub Actions と self-hosted runners GitHub Actions は GitHub ユーザーであれば現在多くの方がご存知・ご活用
CloudWatch Logs Insights でコンテナ単位のCPU・メモリ使用量などを確認する | DevelopersIO
ちゃだいん（@chazuke4649）です。 前回のブログの過程で、Container Insights画面以外でサクッとコンテナ単位のCPU・メモリ使用量を確認する方法があったので共有します。 今回紹介するのは２パターンです。 1.Container Insights画面から飛ぶ方法 2.サンプルクエリをそのまま実行する方法 前提 Container Insights画面ではみませんが、Container Insightsを有効化し、これによるカスタムメトリクスやログを収集する必要があります。 その他Container Insightsに関係する有用情報を下記ブログで紹介しているので、ぜひ見てみてください。 Container Insights でコンテナ単位のCPU・メモリ使用率を表示させる | DevelopersIO 1.Container Insights画面から飛ぶ方法 Clo
はい、どーも！モバイルアプリケーションサービス部、改め、CX事業本部の吉田です。 今回はECSのサービスをスケジュールベースでオートスケーリングさせる方法を調べたので、これを紹介します。 ECSのサービスをオートスケーリングするには？ ECSのサービスをオートスケーリングする機能は、コンソールからかんたんに設定可能です。 ただしその場合は CPU利用率 メモリ利用率 （あれば）ALBへのリクエスト数 といった項目のみです。つまりコンソールからはスケジュールベースでオートスケーリングをすることはできません。 Application Auto Scalingでオートスケーリングさせよう ただしApplication Auto Scalingをaws cliを使って設定することで、ECSのサービスもスケジュールベースでオートスケーリングさせることができます。 https://docs.aws.a
ALBで特定のpathのときだけCognito認証を通す構成をaws-cdkで作る - $shibayu36->blog;
管理画面の時だけ認証をかけたいみたいな要件はよくある。今回はその要件をALBで特定のpathの時だけCognito認証を通すという構成で実装してみたのでメモ。構成はaws-cdkを使った。 やりたいこと /admin/以下の場合はCognitoの認証をかけ、許可したユーザーしかアクセスできないようにする それ以外のパスではアプリケーションに認証なしで繋がるようにする 実装 aws-cdk 1.62.0を使って実装した。なお今回のコードは実際の実装をミニマムに変更しているので、動作確認はちゃんと出来ていない（たぶんそのままだと動かなそう）。雰囲気だけ感じてください。 import { IVpc, Port } from "@aws-cdk/aws-ec2"; import { Ec2Service } from "@aws-cdk/aws-ecs"; import { Application
はじめに おはようございます､加藤です｡これまで､エンジニアとしてのキャリアは全てインフラエンジニアでしたが､今月からプログラマーとしてのロールを希望してゼロから再スタートしております｡ 今回､AWS CDK(以降､CDK)を使って典型的なWeb3層アーキテクチャを構築してみたので､こだわったポイントや使う過程で理解した事をご紹介します｡ リポジトリはこちらです｡ kmd2kmd/aws-cdk-ec2_web3tier ある程度CDKを理解されている方を前提として書いております｡下記のブログを読む､Workshopを試した経験がある程度の理解が必要です｡ AWS CDK が GA! さっそく TypeScript でサーバーレスアプリケーションを構築するぜ【 Cloud Development Kit 】 ｜ DevelopersIO TypeScript Workshop :: AWS
Capacity Providerとは？ECSの次世代スケーリング戦略を解説する #reinvent #cmregrowth ｜ Developers.IO
ECSのスケーリング戦略を柔軟に設定でき、さらにFargate Spotを活用できるCapacity Provider、皆さんすでにお使いでしょうか？ re:Invent2019の開催中に突如発表された新機能なのですが、「Fargate Spotとかいうのが使えるらしいで！」というキャッチーな側面はありつつも、その概念はECS全体を包括するもので、正直自分も最初とっかかりが難しかったです。 この記事は、CM re:Growth 2019 TOKYOで発表した内容を元に、Capacity Providerの全体像を掴んでもらうことを目的に書きました。ECSにおけるかなり大きな機能拡張なので、普段からECSを使われている方は、是非この記事でこの新機能を掴んでもらえればと思います。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 Capacity Provider ﾏﾂﾘﾀﾞﾜ
AWS Fargate、Amazon ECSの起動と停止を自動化できる無料ツールを紹介します | DevelopersIO
はじめに 弊社が提供する無料のAWS運用かんたん自動化ツール「opswitch」を使って、夜間や土日祝日などの使わない時間帯に開発環境のAWS Fargate、Amazon ECSを停止させる方法を紹介します。プログラムなどの知識はなくても、Webの操作だけで設定を行えます。Fargateを例に説明をすすめます。ECS(ECS on EC2)の場合は「タスクの作成」が少し違いますので補足をご覧ください。 準備 ユーザーガイド opswitchを開始するを参考に以下の初期設定を完了させてください。 opswitchのアカウント作成 opswitchアカウントの初期設定 ユーザー属性情報登録 組織作成 AWSアカウント連携作成 タスクの作成 それではFargateを起動させるタスクから作成します。 Management Consoleでタスク数を変更したいECSサービスにタグをつけます。どのサ
こんにちは、サーバサイドエンジニアの@Juju_62qです。 今回はタイミーで実践しているECSのオートスケール戦略についてお話ししようと思います。 TL;DR タイミーではTarget Tracking ScalingとStep Scalingを組み合わせてオートスケールをしています Target Tracking Scaling -> 通常のスケールアウト・スケールイン Step Scaling -> スパイク時のスケールアウト 2つを組み合わせることで、様々なリクエストに対し適切なリソースを用意しています タイミーのアクセス量の変化とビジネス要求 タイミーのアクセス量の変化とこれまでのオートスケール タイミーは空いた時間に働きたい人とすぐに人手が欲しい店舗・企業をつなぐスキマバイトアプリです。 したがって、仕事の募集数や働いてくださるワーカーさんの数は世の中の動向に大きく左右されます
EC2インスタンスの踏み台を用意したくない こんにちは、のんピ(@non____97)です。 皆さんはEC2インスタンスの踏み台を用意したくないと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスター、OpenSearch Service ドメインなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台(Bastion)が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect そして、踏み台となるリソースとして採用される多くがEC2インスタンスだと考えます。EC2インスタンスの場合、OS周りの面倒をみる必要があります。OS内のパッケージのアップデートが面倒であれば「踏み台が
AWS CDKでコードの記述30行ほどでVPC, ECS, Fargateなどを使ったインフラ環境を構築してみました。 HAPPY BIRTHDAY, クラスメソッド! 弊社には 7月7日の会社のお誕生日にブログ書くという文化があります。 せっかくなので私も最近はまっている CDK ネタで一本書いてみようと思います。 ついこの間、はじめて CDK を使って VPC 環境を構築する機会があったのですが、思いのほかシンプルだったのでご紹介したいと思います。 作るもの VPC、 ECS、 Fargateでインフラ環境を構築します。 使うもの AWS CDK を Typescript で記述します。 cdk --version 1.32.2 tsc -v Version 3.7.4 Typescript の watch モードをオンにする 私はよくビルドし忘れてデプロイの時にこけるので Watch
独学で未経験のモダンな技術を学習してポートフォリオを作るまで【Rails / Next.js / AWS / Docker / GitHub Actions】 - Qiita
独学で未経験のモダンな技術を学習してポートフォリオを作るまで【Rails / Next.js / AWS / Docker / GitHub Actions】RailsAWS初心者個人開発Next.js はじめに こんにちは！きいな(@keynyaan)と申します。 今回、モダンな技術を使って初めてポートフォリオを作ってみたので、開発背景や学習教材などを紹介します。 ポートフォリオを作るにあたって、色々な方の素晴らしいポートフォリオ作成記事が参考になったので、今度は私の記事が誰かのためになることを祈ってます。 自己紹介 大学卒業後、新卒でSIer企業に入社し、3年ほどJavaやJavaScriptなどを使って、バックエンドやフロントエンドのシステム開発を行っていました。 そんな私が自社開発企業に興味を持ち、退職を機に、2023年1月からポートフォリオ作成に向けて学習を始めました。 学習期間
インフラエンジニアの菅原です。 最近、バイクに念願のグリップヒーターをつけました。 これでツーリング時の手の寒さが多少楽になりそうで喜んでいます。 とはいってもなかなか出かけられないのですが… 現在私はAWS Fargateを使ったサービスをECS上に構築を進めており、日々コンテナと戯れています。 基本的にストレージ以外のコンポーネントはほとんどECSで動いているのですが、VPCのネットワーク内でちょっとした作業（たとえばネットワークの疎通確認など）をしたい場合、都度新しいタスクを起動して作業しています。 また、DBにテストデータを入れたかったり、どうしてもDBを直接操作したいことがある場合、stoneを新しいタスクを起動した上で、そのタスクを踏み台としてaws ssm start-sessionでポートフォワーディングを行い、手元から直接DBにアクセスできるようにしたりしています。 しか
深夜の定期バッチの監視 Webサービスのオフピーク時に重たい処理を実行させるというのは一般的なプラクティスといえます。 特に深夜〜早朝は多くのサービスでバッチ処理を実行させているのではないでしょうか。 Webサービスだけではなく、当然バッチ処理も監視して失敗したらそれを発見し対処したいです。 しかし、失敗を発見しても即座にユーザ影響がないので対応は後でも良いという場合、素朴に監視ルールを作るとバッチが失敗した深夜・早朝にアラートが発報されることになります。 発報されたアラートを見て「これは今すぐに対応してなくても良いな」と判断するのであれば、それは狼少年アラートといえるのではないでしょうか。 悪貨が良貨を駆逐すると言われるように、狼少年アラートがはびこれば良貨のアラートもいずれ無視されるようになってしまうことは容易に想像できます。 Datadogの timeshift 関数でアラートの発報
【AWS】Next.js+LaravelをECS+Fargateにデプロイする時のアレコレ | yutaro blog
最近業務でNext.js+LaravelのアプリケーションをAWSのAmazon ECS(Fargate)にデプロイするタスクを担当しているので、デプロイするにあたりNext.js側、Laravel側でやっておくこと、エラー対応などをまとめておく。 ECSへのデプロイはEC2へのデプロイに比べそもそもネットに情報が少ないECSの中でもデータプレーン（コンテナ実行環境）にEC2を使った記事が多くFargateを使った記事はかなり少ないECS+Fargateへのデプロイでも本記事のようなフロントエンド+APIの構成のデプロイ例はマジで少ない という状態で結構苦戦したので、自分で苦戦したことを残しておくとともに同じ構成でデプロイする方に向けて参考になれば嬉しいです。 ECS、ECR、Fargateについての技術説明・全体的なデプロイ作業の手順についてはこの記事では扱わないが、この記事（というかZ
AWS Cloud Development Kit(CDK)でURL短縮サービスを作ってみた | DevelopersIO
サーバーレスなURL短縮サービスを Python 版 AWS CDK で作るウェビナーを見つけたので、動かしてみました。 最終的には下図のようなサーバーレスなインフラを構築します。 ※図はウェビナーから引用 構築された URL 短縮サービスを触ってみます。 targetUrl に URL を渡し、短縮 URL を生成します。 $ curl https://go.example.info?targetUrl=https://aws.amazon.com/cdk/ Created URL: https://go.example.info/4692efec 短縮 URL でアクセスすると、元の URL にリダイレクトされます。 $ curl -I https://go.example.info/4692efec HTTP/2 301 date: Wed, 09 Oct 2019 10:03:35
AWSエンジニアがAlibaba CloudのECSを理解する為の比較解説｜Engineers' Blog｜SBクラウド株式会社 - SBクラウド株式会社
1. イントロ 2. 仮想サーバー 3. ログイン手順 4. インスタンスタイプ 5. イメージとマーケットプレイス 6. ブロックストレージ 7. コスト 8. オートスケーリング 9. コンテナサービス 10. 高性能コンピューティング 11. あとがき 1. イントロ 技術課の牛嶋です。私が業務を通じてユーザと接する中で、Alibaba Cloudを導入する上で障壁の１つとなるのが学習コストだと分かってきました。 その障壁を小さくする為、元AWSエンジニアとして、AWSの製品や機能の観点を用いた、Alibaba Cloudの類似点と相違点を解説したいと思います。これにより、AWSに精通しているエンジニアがそのノウハウを活かしてAlibaba Cloudのサービスを理解できるようになるという事を期待しております。 今回は以下ECSを始めとした仮想サーバーに焦点を当てたいと思います。 製
TL;DR 3行で。 シンプルで セキュアな Ruby on Rails on ECS by Terraform を作りました。 目次 はじめに 本構成のテーマ リポジトリ アーキテクチャ Terraform側のTips Rails側のTips さらなるカスタマイズ はじめに ここ数年、業務やプライベートで様々なパターンのRuby on Rails + AWS ECS構成を構築してきました。 例えば、構築したことがるパターンを要素ごとに列挙するとざっと以下のようになります。 フロント部分 ALBのみ CloudFront -> ALB assetsのみCloudFront ECS 起動タイプEC2 起動タイプFargate 2種の混在 デプロイパイプライン 全部GitHub Actions Capistrano + ecs-cli CodePipeline + CodeBuild Code
GitHub - YoshiiRyo1/getting-start-ecs-blue-green-deploy
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ecspresso v2とTerraform null_resourceで一発構築 - KAYAC engineers' blog
SREチームの藤原です。 この記事はTech KAYAC Advent Calendar 2022 5日目の記事です。 この記事では筆者が開発しているAmazon ECSデプロイツール ecspresso (v2)と、Terraformのnull_resourceを組み合わせて、 TerraformによるECS関連リソース作成とecspressoによるECSサービスのデプロイを一発で実行する手法について説明します。 ecspresso とは github.com ecspressoは筆者(fujiwara)が開発している、Amazon ECS用のデプロイツール(OSS)です。ECSにタスク定義とサービスをデプロイするツールはAWSが作っているものを含めて世の中に多々ありますが、ecspressoは次のような特徴を持っています。 Go 言語で書かれた OSS (MIT LICENSE) です
RedashをFargate, Datadog, Terraformで構築/運用する - Timee Product Team Blog
こんにちは、タイミーSREチームの宮城です。 今回は弊社がRedashをFargateで構築/運用している話を紹介します。 背景 タイミーでは、CSやセールスのKPI策定から毎月の事業数値に至るまで、Redashが様々な用途で活用されています。 Fargateで構築する以前はEC2上のdocker-composeで運用されていましたが、以下の課題がありました。 オートスケールできないため、クエリが詰まってCPUが100%になってサービスが停止する。 その度slack上から再起動していた セットアップしたエンジニアが退社しており、インフラ構成図やノウハウの共有、IaCによる管理ができていない。 クエリやダッシュボードなどのデータの定期的なバックアップができていない。 v7系からv8系へのアップデートがしたいが、アップデートによる影響範囲がわからず恐怖感がある。 事業に大きく関わるサービスなの
自己紹介 はじめまして。DELISH KITCHENバックエンドチームのマネージャーをやっている内原です。 本日はDELISH KITCHENにおける、バックエンド観点でのシステム紹介を行います。この紹介によりDELISH KITCHENの開発に興味を持ってもらえると嬉しいです。 はじめに DELISH KITCHENのサービス全体像とバックエンドシステムの構成や仕様などを紹介します。 ご覧の通り、複数のマイクロサービスが様々なミドルウェアを利用しつつ、DELISH KITCHENサービスの提供を実現しています。 DELISH KITCHENのサービス全体像 DELISH KITCHENの一番主要な機能は、レシピ動画を提供することでお客様の料理体験をよりよいものにすることです。 これだけ聞くと、単に動画を配信しているだけのサービスのように思われるかもしれませんが、実際には料理にまつわる様々
GitHub Actions から、ECS でのワンショットタスクを実行する - LayerX エンジニアブログ
この記事は、6月から始まっている #LXベッテク月間 6日目の記事です。 昨日は talos さんの 「そろそろあの課題着手しなきゃ！」チームに日々蓄積されるIssueを、Notionで簡単にプロジェクト化〜TODO管理する方法 でした 🐬 バクラク請求書でリードエンジニアをしている @yyoshiki41（中川佳希）です！ 最近たどり着いた git で差分があるか確認するコマンドは、git diff --exit-code --quiet です。 バクラクシリーズでは先月（2022年5月）、経費精算をリリースしました！ 今後も更にコーポレート業務全体のデジタル化をサポートしていきます。 この記事では GitHub Actions から ECS でのワンショットタスクを実行する仕組みを紹介します。 処理の流れ このあたりは先駆者となるツールも複数ありますが、Actions 上で実現したい
こんにちは、上野です。 2020年のAWS re:Inventで発表されたAWS Proton、以下のハンズオンを参考に色々触ってみました。（作者の山口さんありがとうございます！） AWS Proton で ECS Fargate のアプリケーション実行環境を作ってみようハンズオン これは実際の本番運用で使用できるのでは？という良いポイントがけっこうあったので、まとめてみます。 AWS Protonとは AWSでは「コンテナおよびサーバーレスアプリケーションのための初のフルマネージドデリバリーサービス」と紹介されています。 私の感想としては、プラットフォーム管理者とアプリケーション開発者の境界線を明確にし、各担当者が管理する範囲をテンプレートおよび世代管理できるサービスです。この管理をAWSマネージドでできるため、負荷を下げながら整理されたデリバリー構成を維持できるようになります。 説明だ
旧聞ですが、2023/11/13からAmazon ECSが冪等なタスク起動をサポートし、副作用無しに再試行、複数回呼び出せるようになりました。 現時点では、以下のECS APIが冪等性をサポートしています。 CreateService CreateTaskSet RunTask 冪等性を実現する場合、主に次の2通りがあります。 複数回呼び出される前提で、アプリを冪等に実装 一度しか呼び出されない前提で、アプリをシンプルに実装 Amazon SQSを例に取ると、at least onceなスタンダードキューが前者で、exactly onceなFIFOが後者です。 今回のECSアップデートは後者です。ECSタスクの冪等起動対応により、ライブラリ･フレームワークの力を借りながら頑張って冪等に実装していたタスクを、シンプルに実装できるようになることがで期待できます。 ポイント 重要なポイントを述べ
本記事は 基盤デザインウィーク 8日目の記事です。 🌈 7日目 ▶▶ 本記事 ▶▶ 9日目 💻 はじめに ecscheduleとは 「スケジュールされたタスク」 Amazon EventBridgeについて 構成図 コード体系 ecschedule.yaml target.json 構築手順 0. 前提 1. 必要リソース構築(dev) 2. ecschedule dump(dev) 3. 設定ファイルの修正 4. ecschedule apply(prod) 検証中にハマったポイント 1. ecschedule dumpコマンドが成功しない 2. 別リージョンからtfstateの読み込みは出来ない 3. サブコマンドからリソース削除が出来ない まとめ はじめに こんにちは、加藤です。 以前ecspressoについての記事を書きました☕️ tech.nri-net.com 今回はecs
２年半近く前に書いた AWS ECS Fargate のCPU性能と特徴 | 外道父の匠 の続編になります。 そんなに楽しくはないけど、知っておいて損はない、くらいの調査と考察になります:-) 前口上 ちょうど１年前に FARGATE のリソース天井が上がりました。今回は、ほぼそれを区切りにした結果になっていると思います。 AWS Fargate でコンピューティングとメモリのリソース構成が 4 倍に増加 vCPU 条件と Availability Zone を変え、３タスクずつ起動し、出現したCPUモデルをメモっていきました。ついでに軽量ベンチマークとして前回同様 OpenSSL speed をカマしておきました。 関係ないけどコンテナイメージは amazonlinux:2 です。では結果をどうぞ。 出現CPUモデル CPUアーキテクチャを選べるので、それぞれについて。 ECS Farg
Continuous delivery of container applications to AWS Fargate with GitHub Actions | Amazon Web Services
AWS Open Source Blog Continuous delivery of container applications to AWS Fargate with GitHub Actions At the day two keynote of the GitHub Universe 2019 conference on Nov 14, Amazon Web Services announced that we have open sourced four new GitHub Actions for Amazon ECS and ECR. Using these GitHub Actions, developers and DevOps engineers can easily set up continuous delivery pipelines in their code
インターンでAWS ECSを使って機械学習プログラムを自動化した話 | Geppoプロダクトブログ｜テッシー
こんにちは！従業員のコンディション変化発見ツールのGeppoで6月から2ヶ月ほどインターンとして働いていた中村哲史です。 現在、南カリフォルニア大学3年生でコンピューターサイエンスとビジネスを勉強しています。 今回はインターン期間中にやったことの中で一番苦労した、機械学習を用いたデータ分析の自動化について書いていきます。 データ分析の内容自体は自分で作ったものではないのでここでは触れず、あくまでプログラムの自動化部分に集中しようと思います。 動機データサイエンティストがせっかく機械学習を使用したデータ分析プログラムを開発したのに、プログラムの専門性の高さから開発した本人しか使い方が分からないという問題がありました。 そこで、モデルの学習および学習済みモデルを用いた解析を自動化し、結果をデータベースに保存しておくことでプロダクトチームの誰でも分析結果を有効活用できるようにしました。 構成の検
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSの未使用リソースを発見し削除、マルチアカウント時代のコスト削減 | DevelopersIO
カンムにおけるインフラの考え方をまとめた「インフラマニフェスト」のご紹介 - カンムテックブログ
AWS 新CPU Graviton4 の性能検証 | 外道父の匠
AWS Fargate for Amazon ECS のアップデート | Amazon Web Services
ECSでマルチステージング環境を実現した設計と実装 | PR TIMES 開発者ブログ
Scaling containers on AWS in 2022
ECSをスケジュールベースでスケールさせる | DevelopersIO
AWS CDKでWeb3層アーキテクチャを作成してみた | DevelopersIO
ECSで通常時とスパイク時のオートスケールを運用する - Timee Product Team Blog
AWS CDKでECS Fargate Bastionを一撃で作ってみた | DevelopersIO
30行くらいで作るはじめてのインフラ構築 | DevelopersIO
ECSで作業用のタスクをサクッと作るためのツールを作成した - カンムテックブログ
Datadogで深夜バッチの失敗アラートを営業時間に受け取る方法 - Classi開発者ブログ
シンプルでセキュアなRails on ECSのTerraformによる実装 - Qiita
DELISH KITCHEN のサービスとバックエンドシステムのお話 - every Tech Blog
AWS Protonを使用した本番運用を考える - NRIネットコムBlog
Amazon ECSタスクを冪等に起動できるようになりました | DevelopersIO
Scheduled tasks(ECS)をecscheduleで管理してみた - NRIネットコムBlog
続・AWS ECS Fargate のCPU性能と特徴 2023年版 | 外道父の匠