前記事 AWS ECS Fargate Autoscaling の実戦的な基礎知識 の続きというか派生的なところで、こんな監視項目がこんな理由でえぇんちゃうん、という基礎知識的なお話です。 当ブログでは『監視よければ全てヨシ！』という格言を推していますので、監視の仕込みをサボっている人は今からでも頑張っていきましょう。 はじめに もともと書くつもりでいた本タイトルは、公式からこのドキュメントが出たことで、ゴミ箱行きかと思いました。 推奨アラーム – Amazon CloudWatch > Amazon ECS んが、まぁ所詮はドキュメントということで、ここではもう少し実戦に寄り添う形でまとめていければと思います。 あったら嬉しい監視項目をカテゴリごとに整理しつつ、その理由やら補足情報によって、楽しく監視できるようにしていきたいところです。合わせて読みたいところとしては、この辺もどうぞ。 ミ
E2Eテスト分析基盤としてReportPortalを導入しました - freee Developers Hub
はじめに 現在のE2Eテスト分析基盤の課題 ReportPortalとは？ 構築方法 ECS or EKS 構成図 インフラコストについて E2Eプロジェクトへの導入方法 Playwrightへの導入 Slack通知への導入 分析ダッシュボードを作成 最後に はじめに こんにちは、SEQチーム (Software Engineering in Quality) の zaki です。 freee QA Advent Calendar 2024 - Adventar 7日目です。 SEQ では、自動テストの運用・改善や基盤開発などを行っています。 現在freeeではJenkinsやGithub ActionsでE2Eテストを実行しています。実行結果のデータをBigQueryに送って、Redashで可視化で不安定なE2Eテストの分析を行なっていました。 しかし、現在のE2Eのテスト分析には一部課
はじめに この記事はFindy Advent Calendar 2024 21日目の記事です。 adventar.org データソリューションチーム、エンジニアの土屋(@shunsock)です。本日は、Findy Toolsのデータ基盤を構築したので、その内容を共有します。 Findy Toolsは、2024年1月23日にリリースされた開発ツールのレビューサイトです。利用者は開発者向けツールのレビューやアーキテクチャの記事を閲覧、投稿できます。 Findy Toolsのデータ基盤のシステム設計の紹介 システム設計の目標、要件 今回の構築では、「Findy Toolsを訪れたユーザーの行動ログとデモグラフィックデータを組み合わせて分析可能にする」という目標がありました。Findy Toolsではユーザーの行動ログにユーザーidやリファラーを保存しています。また、ユーザー情報をはじめとしたデー
Amazon ECSのAmazon CloudWatch Container Insightsでオブザーバビリティ強化されたので、AWS X-Rayとともに検証してみた | クラウド・AWSのIT技術者向けブログ SKYARCH BROADCASTING
クラウド・AWSのIT技術者向けブログ SKYARCH BROADCASTINGクラウドAWSAWS re:Invent 2024Amazon ECSのAmazon CloudWatch Container Insightsでオブザーバビリティ強化されたので、AWS X-Rayとともに検証してみた はじめに re: Invent2024期間中に「Amazon ECSのAmazon CloudWatch Container Insightsでオブザーバビリティが強化」するアップデートがありました。 Amazon ECS タスク・サービスレベルのモニタリング可能になるという 激アツ アップデートだったのですが、AWS X-Rayとの連携強化もされたとのことでした。 そんなことを聞いたら、「AWS X-Ray含めて触ってみたいじゃん！！」と、思っていたところ... ちょうど良いサンプルを見つけた
本記事はBASEアドベントカレンダー2024の13日目の記事です。 はじめに Pay IDのテックリードの大木(@roothybrid7)です。 9/30に、PAY株式会社(以下PAY社)が保有していた「Pay ID」のシステム移管を行い、リニューアルしました。 カートやショップ管理画面、Pay IDアプリとは別の独立したシステムとなっており、アプリケーションの技術選定やアプリケーションアーキテクチャの設計に携わりましたので、その辺の話をしたいと思います。 移管の背景 2021年に購入者向けショッピングサービスとして「Pay ID」の提供を開始しましたが、サービスの運用は引き継いだ一方で、決済機能は、PAY社がシステムの開発・運用管理を行うという、長らく分断された状態にありました。 また、クレジットカード会員情報を扱っていることから、移管するにしても、どのデータを移管すればいいか精査しない
このディレクトリ構成は、直感的で分かりやすい点が特徴です。万が一オペレーションミスが発生しても障害範囲を最小限に抑えられるほか、複数人が同時に編集してもコンフリクトが起きにくい利点があります。 一方で、state がディレクトリ単位に分割されることにより、リソース間の依存関係を data ソースで参照するケースが増え、コードが複雑化し、可読性が低下するという課題も抱えていました。 この課題については、数年にわたり社内で議論を重ねてきましたが、今年から以下のような新しいディレクトリ構成へと大幅な変更を実施しました。 新しいディレクトリ構成の最大の特徴は、各リソースを network や storage といった抽象化されたレイヤーごとに分割し、ディレクトリ階層を簡素化した点です。この変更により、state の分散による課題を解消するとともに、複数人でコードを編集する際のコンフリクトも最小限に
入門：グレースフルシャットダウン
おでんが美味しい季節になってきました。年末といえば、公私ともにやりかけたことを終えて新しく仕切り直したい、つまりシャットダウンの時期ですね。本記事では雰囲気で理解しがちなグレースフルシャットダウンを見ていきたいと思います。前半では基本的な概念、中盤に少し詳細を見て、後半に教養として歴史を辿ります。本日はサトシの方の小林が担当します。 ※ 主にWebアプリケーションエンジニアを想定しています。 ※ AWSを例にすることが多いです。 グレースフルシャットダウンとは 早速、見ていきましょう。まずChatGPT先生に聞いてみます。 「グレースフルシャットダウン（Graceful Shutdown）とは、システムやアプリケーションを停止させる際に、現在の処理やタスクを可能な限り安全に完了させ、リソースの解放を適切に行いながら停止する一連の流れを指します。データ損失やシステムの不整合を防ぎ、ユーザー体
NewRelicへテレメトリを送信する方法を OpenTelemetry Agent からNewRelic APM Agent へ切り替えた話 - asken テックブログ
こんにちは。株式会社 asken でバックエンドのテックリードをしている岩間です。 本記事は NewRelic アドベントカレンダー(シリーズ３)・株式会社asken (あすけん) Advent Calendar 2024 の 12 / 17 分の記事です。 サマリ 新しいバックエンドアプリの Observability（以降 O11y と省略）を検討する際、ベンダーロックインを避けるため標準仕様の OpenTelemetry の Java Agent を採用した。 しかし運用が停滞・・・ 組織全体が新機能の仮説検証やサービスの安定稼働にリソースを集中しており、OpenTelemetry の運用に伴って発生するタスクの優先順位を上げる余裕がなかった さらに OpenTelemetry を扱えるメンバーが限られていた 技術選定をする際に O11y にかかる運用コスト削減 > ベンダーロックイ
はじめに こんにちは！ 株式会社ログラスでクラウドエンジニアをしているAtsushiです。 本記事では、ECS上で稼働しているコンテナからヒープダンプを取得しようとして、見事に失敗したので、そこで得た学びをご紹介します。 今回の内容はDatadogのmeetupでお話ししたこちらの内容を元に作成した記事となっています。 そもそもなぜやろうと思ったのか ログラスでは主にDatadogを使ってシステムの監視を行っています。 その中で、Datadog Profilerの機能を活用し、OOMエラー発生時のメモリ使用状況を確認する方法を考えました。後述しますが、実際にはデータが欠落している場合があり、直前の情報が取れないことがあります。そのためコンテナからヒープダンプを取得する方法を検討し始めました。 仮にヒープダンプが取得できない場合でも、OOM発生時のメトリクスやログを追い、検証環境で現象を再現
ECS でタスク内の一部コンテナが停止した場合、他のコンテナも停止されるか教えてください | DevelopersIO
困っていた内容 複数コンテナを定義した ECS タスクを実行する予定です。 タスク内の一部コンテナが停止した場合、他のコンテナはどうなりますか。 （他のコンテナも停止される。他のコンテナは動き続ける。など） どうなるの? ECS タスク定義の設定内容を確認してください。 essential：trueに設定したコンテナが停止した場合、タスク内の他のコンテナも停止されます。 essential：falseに設定したコンテナが停止した場合は、他のコンテナには影響しません。 なお、2024年12月時点で、AWS マネジメントコンソール（日本語）ではessentialが基本や必須コンテナと表記されます。 次の画像の場合、 hato-containerAはessential：true hato-containerBはessential：false です。 また、オプションのコンテナ再起動ポリシーを設定
AWSはこんな構成 VPC：仮想ネットワーク ELB：ロードバランサー Fargate ECS：コンテナサービス Aurora：リレーショナルデータベース EFS：ファイルシステム大まかな流れVPC（仮想ネットワーク）を作成する セキュリティーグループを作成する データベースを作成する ファイルシステムを作成する WoedPressのコンテナを作成する 動作確認 VPC（仮想ネットワーク）を作成するVPCについて多少詳しく説明しながら作成しているので、 疑問があれば、以下の記事も参考に AWSコンソールにログインしてVPCダッシュボートへ飛び [VPCを作成] を選択 作成するリソース：VPCなど 名前タグ：WordPress（任意の名前） IPv4CIDRブロック：10.0.0.0/16 アベイラビリティゾーンの数：2 第一アベイラビリティゾーン：ap-northeast-1a 第二アベ
これは、LAPRAS Advent Calendar 2024の14日目の記事です。 プライベートでAWSでのインフラ構築を依頼される(ボランティア) Terraformを本格的に触ってみてIaCの魅力に今更気づく 1 on 1にて「自分、インフラに興味ありますっ！SRE部署行きたいです！」と勢いで異動要望 という感じの流れがあってから1ヶ月ほどで...「バックエンドエンジニア兼なんちゃってMOps」だった自分が、SREチームに参画することになりました。 この記事ではそんな「監督！自分、SRE行けます！行かせてください！！」という勢いのみで、完全に畑違いのチームに参画した時のキャッチアップ方針・実務への取り組み・結果について解説します。 1. チーム参画が決まってからやったこと 1-1. 「望んでやって来た」ことを示す まず異動が決まったタイミングで「望んでインフラ・SREに来た」というこ
AWS ECSで自動デプロイを組んでみる
version: 0.2 phases: pre_build: commands: - echo Logging in to Amazon ECR... - aws --version - aws ecr get-login-password --region $AWS_DEFAULT_REGION | docker login --username AWS --password-stdin <aws_account_id>.dkr.ecr.ap-northeast-1.amazonaws.com - REPOSITORY_URI=<aws_account_id>.dkr.ecr.ap-northeast-1.amazonaws.com/samplerepo - COMMIT_HASH=$(echo $CODEBUILD_RESOLVED_SOURCE_VERSION | cut -c 1
はじめに 本記事では、AWS公式ドキュメント、およびAWSソリューションアーキテクトの推奨事項を基に、ECSやEC2を活用したデプロイメントの最適化戦略を考えます。 1. コンテナ最適化戦略 AWS公式が提供するベストプラクティスに基づいて、コンテナイメージとリポジトリの管理方法を最適化します。 1.1 Dockerfile最適化 以下のようなマルチステージビルドを使用することで、セキュリティとイメージサイズの最適化を実現します。 サンプルコード # 最新のAmazon Linuxをベースにした最適化ビルド FROM public.ecr.aws/amazonlinux/amazonlinux:2023 AS builder # 必要な依存関係のインストール COPY package*.json ./ RUN --mount=type=cache,target=/var/cache/npm
この記事は terraform Advent Calendar 2024 14日目の記事です。 はじめに Finatextでインフラエンジニアをやっているぐらにゅです。 AWSで利用しているリソースのメトリクスをダッシュボードでパッと見たくなったので、CloudWatch Dashboardを利用してダッシュボードの作成を行うことにしました。 この時、「簡単にダッシュボードが作れるようになったら嬉しいよね」ということでTerraformでModuleを作ったのですが、色々と気づきがあったので今回記事にまとめました。 今回書くこと/書かないこと 今回書くこと DashboardをTerraformでコード化する時に考えたことや実装例 コード化した後の運用で気づいたこと 今回書かないこと AWS CloudWatch Dashboardに関すること全般 Terraform Moduleの設計に
GitHub Actionsを活用したDjangoアプリ開発：CloudFormationテンプレートでECRからECSへの自動本番デプロイ - Qiita
AWSTemplateFormatVersion: "2010-09-09" Resources: # VPCの作成 VPC: Type: "AWS::EC2::VPC" Properties: CidrBlock: "10.0.0.0/16" EnableDnsSupport: true EnableDnsHostnames: true Tags: - Key: "Name" Value: "honda-vpc" # サブネットの作成 PublicSubnet1: Type: "AWS::EC2::Subnet" Properties: VpcId: !Ref VPC CidrBlock: "10.0.0.0/20" AvailabilityZone: "ap-northeast-1a" Tags: - Key: "Name" Value: "honda-subnet-public1-a
技術目線でみた、PAY.JP YELL BANKのおもしろいところをご紹介！ - BASEプロダクトチームブログ
本記事はBASEアドベントカレンダー2024の11日目の記事です。 はじめに はじめましての人ははじめまして、こんにちは！BASE BANK Division（以下、BANKチーム）のフロントエンドエンジニアのがっちゃん（ @gatchan0807 ）です。 今回は私が担当しているPAY.JP YELL BANKというサービスについてお話しします！ エンジニアとしてこのプロダクトを担当していて感じるおもしろいところがたくさんあるので、ぜひ一緒に開発しましょ！！というお誘い記事でもあります！！ 全部読んでいただけるととっても嬉しいですが、熱がこもりすぎてとても長い記事になってしまいましたので、記事下部にある、まとめだけを読んでいただく形でもよいです！ よろしくお願いします！ この記事を読む上でのキーワード: エンベデッドファイナンス PoCフェーズ〜グロースフェーズ 分析 / フルサイクルエ
SFTPサーバー外形監視をPure Goでデーモン化する (pkg/sftp , go-co-op/gocron) | weblog.n-jitter
SFTPサーバー外形監視をPure Goでデーモン化する (pkg/sftp , go-co-op/gocron) はじめにnaoto243と申します。この記事はGo Advent Calendar 2024 の4日目の記事となります。 表題通り、この記事ではSFTPサーバーへのアクセスとフォルダの存在確認、gocronによるデーモン化を行います。 言ってみればやっていることはそれだけなのですが、pure goの事例としてお読みください。 事象: 節約型SFTPサーバーでS3マウントが切れる仕事で、AWS Lightsail上でSFTPコンテナを運用しているサーバーがあります。 さらにこのコンテナは Mountpoint for Amazon S3 というマウントツールでS3マウントしています。 本来ならSFTP+S3に向いたスケーラブルな専用ソリューションがAWSにはあるのですが、運用す
はじめに Prismaを使い始めて久しいですが、集計画面などはどうしても複雑なクエリを投げる必要があり苦渋の思いで$queryRawを使いがちです。 ですが、最近以下の記事を見かけました。 こんな便利なものがあるのかと使い始めたのですがビルド時にハマり、その後長いこと使用を諦めていたのですが、この度なんとか解決できたので記事にします。途中試行錯誤しながらのチャレンジでしたが、終わってみればあっさりとした解決方法でした。 前提条件 以下のような作りのプロジェクトがありました。 モノレポ構成(ここでは簡単のためにpackages/cdkとpackages/serverの2つとする) packages/serverはNextでしたが、本筋にはあまり関係ないです packages/cdkをデプロイすることで、AWS ECSにコンテナとしてpackages/serverをデプロイ そのためpacka
こんにちは、Mackerel CREの id:kmuto です。本記事はMackerel Advent Calendar 2024 5日目の記事です。 昨日の記事はMackerelプロダクトマネージャー id:RyuGoo さんの「PdM 目線で見た Mackerel の面白さ」でした。 さて、「過去9年のAdvent Calendarエントリーから、『今あらためて読みたい』記事をピックアップ紹介！」でも少し触れましたが、MackerelはGitHubのMackerel (mackerelio) OrganizationおよびMackerel Labs (mackerelio-labs) Organizationでオープンソースソフトウェア（OSS）を公開しています。 本記事ではそれぞれのリポジトリを示しながら、どのようなものか紹介していきます。 Mackerel（mackerelio）内
今年サービス一部 AWS ECS への移行タスクを担当させていただきました、Optimind の Ye です。 ECS は一見簡単な Container Managemant Service で、k8s よりカスタマイズ性が低い分、AWS が裏でいろんなことをやってくれることで、使い勝手のいい簡単なサービスと思っていました。しかし、プロダクトの実運用に入ると、勉強時に考えもしなかった課題がどんどん浮上してきました。特に Auto Scaling まわりの仕様、自分のあまい想像通りになっていませんでした。この前 Udemy などのオンライン授業を受けて AWS Certified の SAP も通ったいささか自惚れにもなった自分に、まだまだ経験足りない素人である事実を改めて痛感していたしました。 ここでいくつか勉強になったことをメモとしてとらせていただきます。 ECS Auto Scalin
はじめに クラベスアドベントカレンダー21日目です！ クラベスでエンジニアをやってます。 コードネームは、ozといいます！ インフラ構築をしている際、採用予定だったApp Meshがサービス終了になったので 代替えサービスの検討をする必要がありました。 公式から案内されていたのが、ECS service connectだったので 仕組みについて確認したことをまとめます。 ECS service connectとは Amazon ECS Service Connect では、Amazon ECS 設定としてサービス間通信を管理できます。Amazon ECS でサービス検出とサービスメッシュの両方を構築します。これにより、サービスのデプロイごとに管理する各サービス内の完全な設定、VPC DNS 設定に依存しない名前空間内のサービスを参照する統一された方法、すべてのアプリケーションを監視するため
この記事は近況報告であり、 3-shake Advent Calendar 2024 シリーズ2、10日目の記事です。 最近なにしてんの？ 前職の退職時に「詳しい話はまた別でブログにしようと思います。」とめずらしく情報をごく一部の知人以外には出していませんでしたが、 11月から 株式会社スリーシェイク の Sreake事業部 のSREとして働き始めています。 スリーシェイク (初出社の時の写真。かっこ良く撮ろうとしたら思いっきり映り込んでしまった...) スリーシェイクはインフラエンジニア、SRE などWeb系のインフラ領域の技術を主戦場としている方は名前は知っているんじゃないかなと思います。 実際、僕の中では「クラウドネイティブ方面での強者集団」というイメージが強く、個人的にずっと注目していた会社でありました。 何をやっている会社なのかは公式ページをみてもらうと何をやっているのかなんとな
【動作検証】ECSにサービス検出を設定して、タスクを追加した時のDNSレコードの変化を観察してみた - サーバーワークスエンジニアブログ
こんにちは。 カスタマーサクセス部の山本です。😺 以前、ECS のサービス検出のブログを書きました。 blog.serverworks.co.jp ECS サービスにタスクを追加した際に、クライアントから見える DNS レコードの内容がどのように変化するのか、確認しました。 画面キャプチャを貼っていますが、10〜20 回の動作検証をした中で、タイミングよく取得できたものを載せているので、ID などは一貫性がないです。ご了承ください。 AWS ドキュメントの該当箇所 先に検証結果を書きます タスクを追加する前の状態 ECS サービスにタスクを８つ追加し、ECS タスクが「保留中」の状態 ECS タスクが「保留中」状態での Cloud Map ECS タスクが「保留中」状態での Route 53 ８つの ECS タスクが「実行中」になった状態 ECS タスクが「実行中」状態での Cloud
AWS CodeBuild を使った AWS コンテナアプリケーションのビルド AWS CodeBuild を利用することで、コンテナアプリケーションのビルドやテストを自動化し、効率的な CI/CD ワークフローを構築することができます。また、AWS CodeBuild は AWS IAM（Identity and Access Management）と統合されており、ビルドプロセスへのアクセス権限や AWS リソースの制御をきめ細かく設定できます。 CodeBuild でビルドしたコンテナイメージは Amazon ECR に保存され、Amazon ECS や Amazon EKS にデプロイすることが可能です。さらに、これらのサービスでは ARM 系アーキテクチャを採用した AWS Graviton を利用することで、コンテナワークロードのコストパフォーマンスを向上できます。 AWS C
Langfuse v3はv2からどのように変わったのかを噛み締めながらAWSマネージドサービスでLangfuse v3を作りきる
Langfuse v3がついにGAしました皆さま年の瀬ですが、いかがお過ごしでしょうか？ LLMそのものにはあまり興味が持てなかった私ですが、案件で使って依頼Langfuse、もといLLMOpsのツール群が大好きになった私。 2024年12月9日にLangfuse v3がついにGAしてから、早く使ってみたいという気持ちからあろうことか年末の忙しい時期にLangfuse v3のアーキテクチャをAWSマネージドサービスで作ってみました。 良い子の皆さんは、大掃除や年越し準備をしている時期ですが、私はLangfuse v3をAWSマネージドサービスで作っていました.....。よろしくない。 だいぶ長い記事なので先に結論Langfuse v3のアーキテクチャをAWSマネージドサービスで作りたい場合はぜひ拙作のTerraformモジュールをご利用ください。 Langfuseとはまずおさらいですが、L
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS SAP & SAA 「結局見栄えだけ良くても（資格）入社後に使えなかったら意味がない」 必要な素養 = 各サービスの役割がわかる サービス内の機能やオプションがわかる 文章を読み取って顧客のニーズがわかる awsのベストプラクティスがわかる 基本用語 プリンシパル AWSリソースに対してアクションを実行する主体＝エンティティのこと（ユーザー、グループ、ロールなど） フェデレーションされたユーザー SAMLなど介して認証された外部ユーザー AWSの概要 アベイラビリティゾーン ２つ以上のdcで構成されている 展開されているAZと
ReactとFastAPIの連携方法：フロントエンドとバックエンドの統合ガイド ReactとFastAPIの連携は、モダンなWebアプリケーション開発において非常に効果的です。 Reactはフロントエンドのユーザーインターフェースを構築するための強力なライブラリであり、一方、FastAPIは高速なバックエンドAPIを提供するためのPythonフレームワークです。 この記事では、ReactとFastAPIを連携させて効率的なWebアプリケーションを構築する方法について詳しく解説します。 まず、FastAPIでバックエンドAPIを構築し、そのAPIをReactから呼び出す基本的な方法を紹介します。 また、連携のメリットとデメリットについても触れ、最適なアプローチを選択するためのガイドラインを提供します。 以下は、FastAPIとReactを連携させるためのサンプルコードです。 FastAPIの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS ECS Service のオススメ監視項目 | 外道父の匠
Findy Toolsのデータ基盤を1ヶ月前倒しで新規構築した話 - Findy Tech Blog
Pay IDシステム移管プロジェクトの技術スタックの紹介 - BASEプロダクトチームブログ
プロダクトを横断するSREチームの実践ベストプラクティス - Qiita
OOM発生時にヒープダンプを取得しようとしたが、断念した話
AWS ECSでWordPressを立ち上げる｜SSKR
インフラ未経験なエンジニアは2ヶ月でSREになれるのか
AWS ECS/EC2対応の最適化戦略を考える - Qiita
CloudWatch DashboardをTerraformでコード化した話
TypedSQLはとても便利だが、ビルド時にDB接続が必要になって困った話
Mackerelの公開リポジトリ全部見る 2024年スペシャル - Mackerel ブログ #mackerelio
ECS AutoScalingまわりの試行錯誤 - Qiita
ECS service connectについて - Qiita
続・ラフなラボ – 株式会社スリーシェイクで働き始めた #3SHAKE
AWS CodeBuild を使ったコンテナイメージビルドを Docker Build Cloud で高速化しよう
AWS SAA大全（雑多） - Qiita
Dockerを用いたFastAPIとReactのコンテナ化とデプロイ方法 | 株式会社一創