こんにちは！ シェルフィー株式会社で SRE を担当している石田です。 弊社では、本番のワークロードにて Fluent Bit を使っております。 今回、Fluent Bitの処理について理解を深めたので記事を書いてみました。 世界中で使われているとても有名なミドルウェアなので、参考になればとても嬉しいです。 はじめに 弊社では、ECS on Fargate で稼働しているバッチジョブのログをサイドカーコンテナ（Fluent Bit）を使い Datadog に連携しています。 ログのサイズが 16 KB 以上ある場合、shim-logger の仕様により、そのログは分割されてしまうため、 Fluent Bitにて分割されたログの再結合処理を行う必要性があります。 この点についてはDeNAさんの記事がわかりやすいので、詳細はそちらを参考にしてもらえたらと思います。 AWS ECS on Fa
Next.js と Server-side Rendering をプロダクト環境で3年運用してきた知見と率直な所感 | MEDLEY Developer Portal
2024-07-23Next.js と Server-side Rendering をプロダクト環境で3年運用してきた知見と率直な所感こんにちは、医療プラットフォーム本部・プロダクト開発室・第1開発グループ所属の加藤です。 オンライン診療・オンライン服薬指導アプリ「CLINICS」の開発を担当しています。 今回は CLINICS で採用している Next.js と Server-side Rendering (SSR) についてお話ししたいと思います。 Next.js は昨今注目を集めている React ベースの Web フレームワークです。 これから Web フロントエンドの開発を始めるにあたって採用を検討している方も多いのではないでしょうか。 Next.js といえば React コンポーネントをサーバー上で実行して HTML を返す SSR に対応しているのが大きな特徴です。 SSR
公式の説明による大きな変化点は、 Graviton 2 → 3 の時は、性能25％UP で費用6％UP、Network/EBS 帯域幅が向上、 Graviton 3 → 4 では、性能30%UP で費用10％UP、最大スペックが３倍、 に加えて、細かいところでも色々少しずつ向上しているという感じです。 特にスペック３倍は、データベース用途におけるスケールアップが強力で、一時的な緊急負荷対策としても強いし、クラスタデータを３分割するくらいなら１クラスタで分割なしで貫けばいいじゃない、など安定と選択の幅が広がるのは間違いないでしょう。 ベンチマーク それでは、疑り深い外道父さんによる、いつもの Phoronix による検証です。 今回は R系 という点と、あまり古いのと混ぜると共通成功テスト数が減ってしまうことから、R6g, R7g, R8g での比較としています。C7i 以前なども知りたけれ
CodeDeployで更新するECS ServiceをCDK管理して詰んだ話 - Uzabase for Engineers
はじめに 皆様こんにちは、ソーシャル経済メディア「NewsPicks」(Media Infrastructureチーム)エンジニアの北見です。 先日、↓ の記事を書かせて頂きました。 tech.uzabase.com 前回では CDK の良さをメインに紹介しましたが、今回は上手く使えずにドはまりしてしまった例をご紹介します。 ことの始まり ある日、チームメンバーからこんな報告があがってきました。 「CDKのバージョン上げたのですが、cdk deployで失敗しちゃうんですよね。これ分かります?」 xxx-cluster-stack failed: Error: The stack named xxx-cluster-stack failed to deploy: UPDATE_ROLLBACK_COMPLETE: Resource handler returned message: "Re
自己紹介 はじめまして、ENECHANGEの@rubita_isi です。 普段はWEBアプリケーションのバックエンドやインフラの開発や運用を担当しています。 この記事では、AWS上に構築された膨大なWEBアプリケーションをElasticBeanstalkからECSに移行する際に、 監視をTerraform Moduleで標準化した件について、その背景や具体的な内容についてお話しします。 ECS移行について ElasticBeanstalkからECSへの移行 ENECHANGEでは、WEBアプリケーションをAWSのElasticBeanstalkで運用していました。 しかし、ElasticBeanstalkを利用する場合、ホストOSやアプリケーション言語のバージョンが頻繁にサポート終了を迎え、その度に対応が必要でした。 また、ebextensionやplatform hookの仕組み・仕様
Announcing software version consistency for Amazon ECS services | Amazon Web Services
Containers Announcing software version consistency for Amazon ECS services Introduction Container image tags offer a user-friendly way to manage and keep track of different versions of container images. However, they also present a security risk to organizations due to their mutable nature. Without protections in place, a container image tag can be changed in a container image repository to point
Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – | Amazon Web Services
Amazon Web Services ブログ Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – システムやサービスを提供する上で、障害はつきものです。障害を迅速に分析し対処することがユーザビリティやサービス信頼性を向上し、結果顧客満足度につながります。一方で近年システムは複雑さを増しており、障害特定が従来に比べて難しくなっています。したがって障害分析の効率化や高度化が重要になっています。 従来の手動による障害分析では、膨大なログデータの中から問題の根本原因を特定するのに多大な時間と労力を要し、ダウンタイムの長期化やサービス品質の低下につながる可能性がありました。そこで注目されているのが、人工知能 (AI) や機械学習 (ML) を活用した障害分析です。 AI/ML による高度な分析技術を用いることで、障害の早期発見、迅速な原因特定、さ
AWS ECS で実行するバッチ処理を Cluster Auto Scaling を使ってコスト最適化する - Hatena Developer Blog
システムプラットフォームチームで SRE をしている id:chaya2z です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の6月号です。先月は id:MysticDoll さんの Postfixのログ監視で注意すべきSMTPのステータス仕様について でした。 ECS で実行するバッチ処理を、インスタンス数を最適化する仕組みである ECS Cluster Auto Scaling を使ってコスト最適化した取り組みを紹介します。 ECS の起動タイプに EC2 を使う背景 はてなでは、ECS の起動タイプとして Fargate ではなく EC2 を使用しているサービスがあります。そのサービス例として、バッチ処理があります。バッチ処理のジョブには数秒・数分で終わるものもあれば、数時間かかるものがあります。 EC2 起動タイプを選ぶ理由は、タスク終了までのタイムアウト待
[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた | DevelopersIO
[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた Amazon CloudWatch Application SignalsがGAしました！Application Signalsを試しに使うための環境をCDKで作り、実際にSLO/SLIを設定してみます。 はじめに 先日AWS上でSLO/SLI設定を比較的簡単に実現できるAmazon CloudWatch Application SignalsがGAしました！GA前からAWS上ではAPMがどう実現可能なのか、何が違うのかという記事はいくつかありました。 本稿ではApplication Signalsの簡単な概要と提供環境/言語/リージョンについての紹介に合わせて、実際にサンプルを作ってどんな動作をするのか確認してみます。実際に0から構築することで何が必要なの
![[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0021836084bdde128e82746a611da7093dc6b0f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cloudwatch.png)
AWS CDKのStepFunctionsでEcsRunTaskにcpuパラメータを渡す - KAKEHASHI Tech Blog
Musubi AI 在庫管理で DevOps エンジニアをしている kacky です。 この記事では AWS CDK 上でのジョブ開発でのとある困り事を解決した話をしたいと思います。 AWS CDK の StepFunctions には、EcsRunTask という API が存在します。この API を使用すると、StepFunctions 上で ECS の Task を指定して実行することが可能です。この機能は Fargate や EC2 に対応しており、バッチ処理などには必要不可欠なものです。しかし、この API には CPU や Memory などのリソース割り当てを実行時に上書きできないという制限があります。 AWS の REST API や boto3 などの SDK では、この機能を実現できますが、CDK の StepFunctions には含まれていません。これは非常に面倒
ECS on Fargateのスケーリングポリシーを動かして理解する - サーバーワークスエンジニアブログ
はじめに 本ブログではAmazon ECS on AWS Fargate（以下、ECS on Fargate）のスケーリングポリシーを実際に動かして理解します はじめに ECS on Fargateのスケーリングポリシーとは 前提 構成 構成図 デプロイ デプロイ手順 ファイル：lib/my_ecs_construct-stack.ts リソース情報 コンテナイメージ（Amazon ECR） タスク定義 各コンポーネントの要素数 クラスター サービス タスク タスクの数を手動で変更してみる 自動でタスク数をスケールさせる スケーリングポリシーを設定する 設定ポリシーを確認する 動作確認 アラーム画面のグラフからアラームステータスを確認 最大タスクを3へ変更する イベントを確認 RequestCountPerTargetの遷移をアラーム画面のグラフで確認 その他 必要なタスク数は自動的に変化
はじめに AWS環境(ECS-Fargate)でkeycloakをDNS_PINGを使った冗長構成で立ち上げるサンプルコードです。 全体構成図 Keycloak の クラスタリング Keycloak では、JGroups, Infinispan というライブラリを利用してクラスタリングを実現しています。 JGroups の Discovery プロトコル JGroups はクラスタのメンバーとなるホストを見つけるために、Discovery プロトコルというものを利用しています。JGroups では、この Discovery プロトコルとして様々なプロトコルを提供しており、環境や要件に合わせて適切なプロトコルを選ぶことができるようになっています。 今回はDNS_PINGの構成を紹介していきます。 他にもS3_PING, JDBC_PINGなどの方法があります。 DNS_PING DNS_PI
前書き こんにちは！株式会社アルファドライブに所属していたくすのきです。 4月からは、アルファドライブの一部事業カーブアウトに伴い株式会社ユーザベース Holdings Productのエンジニアとしてユーザベースのすべての社員がより効率的に働ける環境づくりに邁進しています。 本稿は、アルファドライブで実施した「踏み台サーバーのオンデマンド化」についての紹介です。 インターンをしてくれたbe3さんが記事を書いてくれました。インターン期間後の寄稿となったため、共著という形で掲載します。 アルファドライブのご担当者に許可をいただき当時の構成を記載しています。 省コストな踏み台サーバーの構築に有益な内容になっています。ぜひ参考にしてください。 はじめに こんにちは！株式会社アルファドライブでインターンをさせていただいていた、be3と申します。 アルファドライブではサーバーサイドやインフラを中心に
はじめに こんにちは、スカイアーチHRソリューションズのsugawaraです。今回はFireLensを用いてアプリケーションログの送付先をいじってみたいと思います。 以前の記事にて、CDKを利用してECS Fargateを作成しました。今回はそれに設定を追加することで、デフォルトのCloudWatch Logsではなく、S3にログを送っていきます。 対象読者 FireLensをはじめて触る人 FireLensにちょっと興味がある人 Fargateのログルーティングをしてみたい人 構成図 Fargateのアプリケーションログは、デフォルトではCloudWatch Logsに出力されます。今回は出力先をS3に変更していきます。そのために利用するのがFireLensです。FireLensは、fluentbitもしくはfluentdを用いて、ECS コンテナのログを任意の宛先に転送する機能のことで
AWS CloudWatch Logs 向けに Laravel のログを JSON で出力する方法 - 猫でもわかるWebプログラミングと副業
はじめに JSON 形式のログを送ると何がいいのか 今回のサーバー構成 Laravel から JSON でログを送るには スタックトレースも出したい 課題 まとめ はじめに この記事は Qiita Laravel Advent Calendar 2023 の3日目の記事です。 1日目はこのカレンダー作成者 @uchan-lab さんの記事で、Laravel アンチパターンと対策まとめ です。 特に「マイグレーション編」「日付編」「config編」は、学びあり、僕が過去にハマったことのある PHP / Laravel あるあるありで、いい記事だと思いましたので、ぜひ読んでみてください。 qiita.com 2日目は なお さんの Laravelで単一テーブル継承の実装を試してみた 単一テーブル継承の機能が Laravel にあるのは知らなかったのですが、僕も使ってみたいと思ったので、気になる
この記事の概要 この記事は、常時実行している処理のプロセスを修了した際に処理途中で停止を防ぐ方法を学びましたので記事として残します。 間違った情報を記載している可能性がありますので温かい目で読んでいただければと思います。 通常のプロセス停止 以下に擬似的に処理を100%で完了と表示されるサンプルコードをDeno（TypeScript）で記述しています。 console.log("Start"); while(true) { for (let i = 1; i <= 10; i++) { console.log(`${i*10}%`); if( i === 10 ) { console.log("Complete!"); } // 1秒まつ await new Promise((resolve) => setTimeout(resolve, 1000)); } } console.log("
物件基盤システムをRuby 3.3にアップデートし、YJITを有効にした結果 - ITANDI Engineer Blog
こんにちは！ イタンジ株式会社でバックエンドエンジニアをしている藤崎 (https://x.com/aki19035vc) です。 イタンジの各種サービスの要である物件基盤システムを開発をしています。 私がメインで見ているRailsアプリケーションのRubyバージョンを3.3系にアップデートしましたので、その結果についてご紹介いたします。 前提 今回アップデートしたRailsアプリケーションの特徴は下記の通りです。 Ruby 3.2.1 Rails 7.0.6 YJITは有効になっていない APIモードで動作しており、レスポンスはJSONしか返さない テストのラインカバレッジは100% 型の記載率は(ほぼ)100% 記載の通りテストのラインカバレッジを100%に維持しています。 また、型に関しても「appディレクトリ以下」は100%書かれています。 ハッシュの中身などは untyped し
概要 ECS Fargateのタスク起動を日次起動にしたいことってありませんでしょうか。 例えば平日8:00-20:00の間だけ使えれば良いというな社内サービスとか。 今までECS on EC2を使っていて、その時はCloudWatchRuleでEC2 instanceのStart/Stop設定が可能だったのですが、Fargateの場合は異なる手段が必要だったので紹介します。 前提 Lambda関数を使って設定することもできるとのことでしたが、CW Ruleのようにマネコンから簡単に変更できるようなものがいいな〜と思っていました。 FargateのECSを対象にCloudwatchRuleでタスク数を1にする、と言う設定は可能だったのですが、タスク数を0にするルールを作成したら以下のエラーに。 Resource handler returned message: "1 validation
ECSでGitOps - とことんDevOps | 日本仮想化技術のDevOps技術情報メディア
私が関わっている案件ではK8s(っというかEKSやGKE)をよく使っています。K8sを使っていればArgoCDを使えるので、デプロイの仕組みをあまり意識する必要はありません。一方でAWS ECSで運用したい要望が出てくると自分でデプロイの仕組みを作る必要がでてくるので話は複雑になります。たまたまそんな機会があり、色々手法を検索しているとAWSのサンプルでECSをGitOpsで管理するサンプルがでてきました。今回はこれを動かしてみます。 gitops-amazon-ecs-sample github.com AWSのサンプルが色々置いてあるOrgで、その中の一つにGitOpsでECSを管理するサンプルが転がっていました。仕組みは以下の図です。 処理の流れを見ていくと CodeCommitにdeployment.yamlをPush CodePipelineが発火 CodePipelineがCo
GitHub Actionsをオートスケールするself-hosted runnersで動かしたくて - PLAY DEVELOPERS BLOG
こんにちは、SaaSプロダクト開発部の松本です。 弊社プロダクト「PLAY VIDEO STORES」のエンジニアを担当しています。 最近は朝の布団との格闘が始まり、冬の幕開けを沸々と感じています。 寒い冬はMacBook Proで暖を取りましょう（？） さて、本題に入ります。 GitHub Actionsを導入してプロダクトの開発運用を負荷軽減、効率化したい！！ と考えてから数ヶ月が経ち...ついに今年に入って実現することができました。 そこで今回は、GitHub Actionsの導入にあたり構築したself-hosted runnersについてご紹介します。 背景（もっと詳しく） GitHub Actionsって何？ self-hosted runnersって何？ 実現・解決したいこと self-hosted runnersの構築について GitHubアクセストークンの発行 インフラ環
はじめに VPC内のAWSリソース（RDSやElastiCacheのような）にアクセスする際の踏み台環境ですが、昨今、EC2を利用せず、Fargateを中心としたシステム開発も増えてきていることもあり、踏み台環境もFargateで構築する機会が増えてきました。 今回は踏み台環境をFargate + ECS Execで構築する際の良いところ、注意事項、IAMポリシーを利用した制御方法をご紹介したいと思います。 Fargate + ECS Exec 踏み台の良いところ ECS Exec機能ありきで、Fargate踏み台環境を作成する場合、以下のようなことが簡単に実現できるのが便利で大変ありがたいです。 必要な時だけ踏み台コンテナ起動(aws ecs run-task) ※EC2でも必要な時だけ起動は可能ですが、起動が早い セキュリティ統制の対応 IAMポリシーによる権限の集中管理（接続できる人
Firelensよくわからんくて吐きそうになったのでメモ。 Firelensはエンジン？にFluentdとFluentbit選べるらしいのだけど、後者のが軽くてよくてみんな使ってるらしいので、Fluentbitを使う。 Firelensは専用のコンテナをサイドカー構成で使う。 サイドカー構成はAWSでも推奨されているとのこと。 タスクが複数ある場合でも、1タスクにつき1サイドカーが推奨されているらしい。（AWSのサポートに聞いた） [用語] この記事で独自に使ってる用語 ・メインコンテナ： 実際に動かしたいコンテナを指す。自分で作るやつの事 ・Firelensコンテナ： サイドカーとして動かすFirelens用のコンテナを指す。 コンテナのログ設定について 以下はCloudFormationで作る時の設定の一部。 ContainerDefinitions: # Main Container
概要 今までAWS ECS on EC2を使っており、Fargateを使ったことがありませんでした。そこで、EC2で構築した際とFargateを利用した際を比較すると、Fargate構築時のみの注意点があると感じたので紹介します（特にCloudformationを利用して作成すると感じた点になります）。 注意点1：ネットワークモードはawsvpc そもそもFargetはサーバーレスモデルなので、EC2ではなく、タスクにプライベートIPアドレス（正確にはENI）が割り当てられる形です。そのため、ネットワークモードはawsvpcのみをサポートする形になっています。 公式ドキュメントにも以下のように記載されています。 Fargate 起動タイプを使用している場合、awsvpc ネットワークモードが必要です。 引用元：https://docs.aws.amazon.com/ja_jp/Amazon
RunTask API を用いた ECS タスク実行時に気をつけたいこと４選 - PLAY DEVELOPERS BLOG
SaaS プロダクト開発部開発第２グループの伊藤です。先日、プライベート用に M2 チップ搭載の MacBook Pro を購入しました。M3 チップ搭載型が登場するという噂があったので我慢していたのですが、M2 で充分速いだろうと購入に踏み切りました。今のところ開発環境の再構築とテックブログを読むのに活用しています(?) 爆速を体感するのはいつになるやら…。 さて、今回は Amazon Elastic Container Serviceについてのお話です。社内でも採用事例が増えていますが、私の担当プロダクトでは一風変わった使い方もしたのでその中で得られた知見についてご紹介します。 Amazon Elastic Container Service・AWS Fargateとは？ RunTask API を用いた ECS タスク実行とは？ RunTask API を用いた ECS タスク実行時
Amazon Web Services ブログ Amazon ECS におけるソフトウェアバージョンの一貫性の実現 この記事は Announcing software version consistency for Amazon ECS services (記事公開日: 2024 年 7 月 11 日) の翻訳記事です。 概要 コンテナイメージタグは、様々なバージョンのコンテナイメージを管理および追跡するためのユーザーフレンドリーな方法を提供します。しかし、コンテナイメージの可変性 (mutability) は、組織にセキュリティリスクをもたらします。適切な予防策を実施しない場合、コンテナイメージリポジトリにおいて、全く別のコンテナイメージを参照するようにコンテナイメージタグが変更されてしまう恐れがあります。そのため、ワークロード定義時に指定したコンテナイメージと、ワークロード実行時に使用
民主主義を信じる (2024W26) - はせる
都知事選挙ですね。 2024W26 (2024-06-24 / 2024-06-30) 立候補の段階から予想はあったけど、告示日を過ぎて選挙ポスターが貼られ始めると予想を超えてカオスな都知事選のスタートになった。いろいろな人が立候補することはいいことだと思うけど、せめて「東京をよくしたい」という意志があり、そう感じられる行動や言動をする人であってほしい。ただ、「どの候補者が一番自分にとってマシなのか」で投票先を選んでいくことを考えると、「この候補者、選んだらダメだ――」と見てすぐに判断できることは、むしろいいことと言えなくもない。 miyearnzzlabo.com でも「主な」として挙がる候補者たちは、そんなに簡単に判断することができないんだよね。マニフェストをよく読んで比べてみたり、メディアの公開質問状への回答を比べてみたり、その回答の真摯さだったり、ボートマッチを試してみたり、そうや
概要 毎回AWSの操作でちょっと不便だったものをAIを使ってシェルのアプリ化をしてみました。ほぼ一発で綺麗に動作してくれました。 書き出されたコードは以下に置いておきます。 以下こんなスクリプトを書きました、というのを置いておきます。 AWS CLIを実行の為の2段階認証を対話形式で実行するプログラム 入力したプロンプト 以下のコマンドでAWSの2段階認証で返ってくるJSONの内容を出力する内容に変換して表示するスクリプトを書いてほしい。 [ ]の箇所はコマンドラインで対話形式で入力出来るようにしたい。 ~/.aws/credentialsの内容を参照して、profile名の一覧を取得して選択出来る様にしてほしい。尚profile名は[]でくくられた文字列である。 ~/.aws/mfaから各行のリストを取得して、mfa_arnを選択できるようにしてほしい。 かならずシェルスクリプト形式で書
はじめに こんにちは。すぎもんです 先日の、HULFT10 for Container Services （コンテナ版HULFT）の環境構築をしてみたの記事では開発者版の環境構築を書かせていただきました。バージョンが10.1.0となり、改めて環境構築の機会があったので前記事をベースに書き足してみました。今回はより設定をスムーズに実施できるよう、実際の値を補足しています。AWS試用環境を取得し、補足の値を入れて設定していくだけでも構築ができる形にしました。 併せて以下の記事を追加しました。 HULFT10 for Container Services AWSインスタンスの停止について （環境構築） インスタンスを停止すると待機コストを削減できます。 HULFT10 for Container Services アンインストールについて （環境構築） 試しに構築した環境は簡単に削除できます。
version: '3' services: appserver: build: context: . dockerfile: Dockerfile restart: always ports: - 8080:8080 version: 0.2 phases: pre_build: commands: - aws ecr get-login-password --region $AWS_REGION | docker login --username AWS --password-stdin $AWS_ACCOUNT_ID.dkr.ecr.$AWS_REGION.amazonaws.com build: commands: - docker-compose build appserver - docker tag src-appserver $AWS_ACCOUNT_ID.dkr.ecr.
エキサイト株式会社の@mthiroshiです。 Dockerコンテナのログ出力設定について、調べた内容を紹介します。 Dockerコンテナのログ出力設定 Dockerコンテナのログについて、公式ドキュメントに詳細が記載されてあります。 docs.docker.jp docker logsコマンドを実行すると、ターミナルにログが表示されます。 ウェブサーバーを実行するコンテナの場合には、下記の注意点があります。 もしも、ウェブサーバやデータベースのような、イメージがインタラクディヴではないプロセスを実行しようとすると、アプリケーションは STDOUT や STDERR のかわりにログファイルへと出力をする場合があります。 docker logsコマンドでログを出力するためには、出力先を標準出力にする変更が必要になります。 nginx公式イメージであれば、デフォルトでその設定がされています。
はじめに 前提として、AWSマネジメントコンソール上で作成した各種ECSサービスを Terraform管理下とするために実施した内容となります。 今回はTerraform importを活用していきます。 また、コード記述時にfor_eachを活用することで重複コードも極力減らしていきます。 ※key名、各種名称および定義の詳細は本来とは違う内容を記載してます。 Terraform importとは Terraformで既存のインフラストラクチャを管理するための機能です。 この機能を使用すると、既存のインフラストラクチャをTerraformの管理下に置くことができます。 tfファイルに定義を記載する 各種サービスをimportするために定義を配列で記載します。 importした定義を紐づけるため、最低限のservice_nameは記載する。 その後resourceを定義し、先ほどの配列をル
エキサイト株式会社エンジニアの佐々木です。IaCといえば、Terraformがデファクトスタンダードですが、AWSのECSを利用しているのであれば、 AWS Copilotコマンドが便利だと思いますので紹介します。 前準備 AWS クレデンシャルの設定 AWS Copilotの環境構築 copilot app init copilot env init copilot env deploy copilot svc init copilot svc deploy まとめ さいごに 前準備 AWS Copilot CLIをインストールしておきます。 aws.github.io AWS クレデンシャルの設定 AWS Copilotの実行には、AWS クレデンシャルが必要です。aws configure ssoでも、IAM でのアプリケーションキーの発行でもどちらでも動作します。 AWS Copi
FireLens を使用したログルーティングのあれこれ
はじめに みなさん FireLens は使ってますか🦆 Fluent Bit 自体が強力なログルーティング機能を備えてますし、ECS との連携も非常に良くできたツールです。 FireLens のマニュアルは少し難解で、わたしのように複雑な日本語を読むのが苦手なタイプの人間にはちょっときびしいです。 実際の動きを見るために検証するとしても、ログを出力するコンテナを用意して、ECS 周りの環境を整えて、いざタスクを起動したと思ったら設定ミスで再起動を無限に繰り返してる…みたいな感じでなかなか面倒です。また、設定変更の都度コンテナを再デプロイしないといけないのも地味に苦痛です。 今回は FireLens の各種設定に基づき Fluent Bit がどんな挙動を取るか、検証した結果を踏まえてできるだけ具体的にまとめていきます。 この記事がどなたかのお役に立てば幸いです🙇 FireLens につ
AWSのCloudFormationでタスク定義作るサンプル。 ECS+Fargate+ECR+EFS。あとTomcat（これは名前しか登場しないか）。 タスクロールとタスク実行ロールは横着して同じの使ってます。 AWSTemplateFormatVersion: 2010-09-09 Parameters: ProjectName: Type: String Default: test ContainerImage: Type: String Default: <ECRのリポジトリURL>:<イメージのバージョン> EfsAccessPointId: Type: String Default: <アクセスポイントのID> EfsContainerPath: Type: String Default: <コンテナ内でEFSをマウントさせるパス> EfsFileSystemId: Type:
AWS でバッチ処理を実装するなら？ AWS Lambda vs Amazon ECS vs AWS Batch を徹底比較 | 株式会社taiziii
技術ブログ AWS でバッチ処理を実装するなら？ AWS Lambda vs Amazon ECS vs AWS Batch を徹底比較 2023.02.01 AWS でバッチ処理を実装するなら？ AWS Lambda vs Amazon ECS vs AWS Batch を徹底比較 本記事で学べること ・Lambda、ECS、Batchの概要 ・サーバーレスの概念 ・コンテナの概念 ・各種サービスの長所・短所やユースケース はじめに AWS は様々なコンピューティングサービスを提供しています。これは、アプリケーション開発にとってよいことだと思えますが、開発初心者にとっては混乱の元にもなります。 そこで本記事では、AWS が提供する3つのサービス、AWS Lambda、AWS ECS、AWS Batch について、 1. コストパフォーマンス 2. 柔軟性 3. 機能 の観点から、詳しく解
TerraformでAmazon ECSをデプロイする時のALBターゲットグループ関連付けエラーを解消してみた | DevelopersIO
TerraformでAmazon ECSがデプロイできない おのやんです。 TerraformでAmazon ECS（以下、ECS）のサービスをデプロイしようとした時に、ALBとターゲットグループの関連付けが原因でデプロイできないことがあります。 terraform planコマンドでTerraformコードのエラーの多くを検知できますが、今回はterraform planで検知できるものではありませんでした。また、Application Load Balancer（以下、ALB）とターゲットグループの関連付けはエラーとは直接関係なかったので、解決までにしばらく時間がかかりました。 ということで、「こういう場合でもterraform applyのエラーになるよ〜」という共有の気持ちで、今回紹介します エラー内容 ALBとECSをTerraformで記述している状態で、terraform a
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluent Bit の低レイヤーに飛び込んでみて、わかったこと
AWS 新CPU Graviton4 の性能検証 | 外道父の匠
ECSプロダクトの監視をTerraform Moduleで標準化
AWS環境(ECS-Fargate)におけるkeycloak冗長構成(DNS_PING)
ECSタスクの単発実行によるオンデマンド踏み台サーバーの実現 - Uzabase for Engineers
FireLensでカスタムログルーティングをしてみよう！(Part 1) - CloudBuilders
Denoでのシグナルを使ったプロセス停止ハンドリング - Qiita
【AWS】FargateのタスクをSchedulerを利用して日次起動にする設定 - Qiita
ECS Exec利用に関する注意事項 - Techfirm Cloud Architect Blog
（※途中）AWS ECS+FargateでFirelens使う時のメモ - Qiita
【AWS】ECS on EC2とFarget構築時を比較して感じた注意点４つ - Qiita
Amazon ECS におけるソフトウェアバージョンの一貫性の実現 | Amazon Web Services
痒いところに手が届くAWS便利ツールがAIで5分で作れた件 - Qiita
HULFT10 for Container Services (EC2) 環境構築してみた - Qiita
CodePipelineでECSに継続的デプロイメントがしたい - Qiita
Dockerコンテナのログ出力設定を確認する - エキサイト TechBlog.
重複コードは極力減らしつつ複数のECSサービスをTerraformの管理下としたい - Qiita
AWS Copilotを利用してコンテナアプリケーションを高速に立ち上げる - エキサイト TechBlog.
自分用メモ AWS タスク定義 CloudFormationサンプル - Qiita