AWS Fargateで実行したWebアプリケーションのマルチスレッド動作について調査した - 電通総研 テックブログ
みなさんこんにちは！ 金融ソリューション事業部の市場系ソリューション1部の寺山です。12 月に入ってから一気に寒くなったように感じます。 本記事は電通国際情報サービス Advent Calendar 2022 の 12 月 22 日の記事です。 昨年のアドベントカレンダーでテックブログに参加して以来、普段の業務においても「何か記事にできることはないかな？」と考えるようになり、一周り充実した1年でした！ 今回は、AWS Fargate で実行した Web アプリケーション（バックエンド API）のマルチスレッドが想定外の挙動となった点をインフラ視点で調査したので、発生した事象とその対応方法について紹介いたします！ 発生した事象 概要 調査開始時の予想 原因 JavaのavailableProcessors cgroupのcpu.sharesパラメータ 対応 コンテナ定義のcpuパラメータの指
ECS Exec(aws ecs execute-command)のログインを便利にするBashスクリプト - Qiita
[UPDATED 2023年01月26日] 要望によりpecoに対応したsssh version 2を作りました。 pecoに依存していないsssh version 1も引き続き使えます。 [UPDATED 2021年11月10日] leewcさんの修正により、オプションが使えるようになりました。 --region us-west-2 によるリージョン指定や --profile default によるプロファイル指定や --command /bin/bash によるコマンド指定ができるようになりました。 Special thanks, leewc !! ソース sssh (Bash script) #!/bin/bash ############################################################################ # Copyri
こんにちは。サーバーサイドエンジニアの @atolix_です。 今回は37signalsが公開しているThrusterを、メドピアで本番運用をしているアプリケーションのkakariに導入してみました。 kakari.medpeer.jp Thrusterとは Thrusterはアセット配信やX-Sendfileのサポートといった機能を持ったGo言語製のHTTP/2プロキシです。 詳細な設定不要でRails標準のPumaサーバーと組み合わせて動作して、nginxを構成に加えた時と同様のリクエスト処理を行うことが可能です。 github.com www.publickey1.jp 導入前の状況 導入以前のkakariは以下のような構成を取っていました。 アセット配信の為にALBの背後にnginxを置いています。 今回は管理コストを下げる為に、nginxを剥がしてThrusterからアセット配信
こんにちは。2023年7月に入社しました、開発部プラットフォームグループ インフラエンジニアの @yosshi です。今回はSOCIインデックスによるECSのデプロイ時間の短縮効果について検証を行ったので、その検証内容と結果を共有したいと思います。 デプロイ時間短縮の方法は様々あると思いますが、SOCIインデックスはイメージやデプロイフローに手を入れずに、比較的簡単に取り入れられそうだったので導入を検討しました。 SOCI（Seekable OCI）インデックスとは SOCIインデックスとは、イメージの遅延読み込み（非同期読み込み）を可能にする技術です。イメージ全体をダウンロードする前にコンテナイメージから個々のファイルを抽出できるようにし、コンテナを高速に起動することができます。 既存のコンテナイメージにあるファイルのインデックス (SOCI インデックス) を作成することによって機能し
. ├── acm.tf ├── alb.tf ├── backend.tf ├── ecs.tf ├── files │ └── task-definitions │ └── container.json ├── rds.tf ├── security_group.tf ├── terraform.tfvars ├── variables.tf ├── vpc.tf ├── vpc_gateway.tf ├── vpc_routetable.tf └── vpc_subnet.tf /// ECS $ aws ecs list-task-definitions --region ap-northeast-1 $ aws ecs list-clusters $ aws ecs register-task-definition --family sample-service --cli-in
オンライン自習室アプリを個人で開発した件
はじめに 私は、「アプレンティス」の2期生として、現時点で約6ヶ月間、プログラミングの学習をしています。 そのカリキュラムの中で、「Sabo Learn（サボラーン）」というオンライン自習室を提供するWebアプリをリリースしました。 前置きとして、開発期間は約2ヶ月間です。（平日は仕事をしているため、実稼働はもっと少なく、約500時間が開発に使える時間でした。） また、「誰かの課題を解決する」というテーマで、実際に使ってもらえるプロダクトを目指して開発しておりますが、それと同時に、自身の転職活動のポートフォリオでもあります。 そのため、随所に、「どうしてわざわざそんな技術を使ったの？」「インフラのスペック過剰じゃない？」といったツッコミどころがあるかもしれませんが、そのほとんどは「自分が知らない技術をキャッチアップしたかったから」か、「これくらいのことなら実装できます」というアピールのため
AWS Fargateで並行処理をした話
RailsのDB作成とマイグレーションを複数サイトで同時実行しました。 AWSのサービスを利用すると簡単に実装できました。 Fargate最高！ 吉岡です。11月に開催されるRubyWorld Conferenceに登壇することが決まりました。弊社が提供する「Redmine」のクラウドサービス「My Redmine」のインフラストラクチャーを、Rubyと最新のクラウド技術を活用した構成へと再構築したことについて発表します。ぜひ会場までお越しください！ さて、今日のブログはAWSのFargateを利用して、RailsのDB作成とマイグレーションを複数サイトで同時実行したことについての話です。 目的 AWSのFargateというサービスを利用して、複数のサイト（複数のDB）に対して同時にバッチ処理を実行します。 今回はサンプルとして rails db:create と rails db:mig
Amazon ECS Exec(aws ecs execute-command)を便利にするツール「sssh」 | DevelopersIO
こんにちはコカコーラ大好き、カジです。 ECS Execするときに、Cluster名や、コンテナ名、タスクIDを確認してaws ecs execute-commandコマンド実行をしてましたが、Cluster数、タスク数が多いと非常に面倒ですよね。 そんなあなたに、楽にしてくれるツールがありました。 ssshとは ECS Execを実行したいECS Clusterやタスクを対話式で選択して、実行できるツールとなります。 今回はVersion 2を試しました。 作者は、弊社事例に掲載されている株式会社集英社 プラットフォーム室 安達様で、コンテナ移行時に作成され、ツールをご紹介頂き、私が試したところ非常に良いツールだったのでご紹介となります。（安達様にご承諾頂き、ブログでのご紹介となりました） 前提条件 Mac OS Xでの利用法を記載します。他のOSでもAWS CLI、jq、Bashなどが
はじめに プロジェクトによってインフラ構成の違いはありますが、みなさんは快適なデプロイフロー組めてますか？ 自分は今週にフルスクラッチでサービスをリリースする事が出来ました。 その際にインフラ構成にECSを採用しました。 前職でもECSを使っており、もうEC2には戻れない体になってしまいました。。 そしてgithub actionsが正式にリリースされてからその魅力に取り憑かれてしまい、前職の会社でも色んな物を無人化していました。 前職は大きな会社だった為、prdへのデプロイは最新の注意が図られていた為、approveも無いgithub actionsでprdへのデプロイは少し難しい環境でした。 codepipelineもapprove, blue/greenが魅力的ですが、体制が整っておらず速度を求められるスタートアップや、個人開発だとこのデプロイで事足りると思います！ 前提 clust
はじめに Linuxのcronのような定期的な処理をAWSで走らせられるようにしたいということになり、実際にやってみた 使った機能 AWS EC2 AWS ECS AWS Batch AWS CloudWatch 今回の各機能の流れ Batchで実行したい処理を定義する(この中で自動的にECSにクラスタが作られる) →Batchで処理を走らせる(EC2にインスタンスが立ち上がり、処理が完了したら自動でインスタンスが削除される) 基本は上記の繰り返し これをCloudWatch内の「イベント」機能で定期実行するようにする 作ってみる 基本はAWSのドキュメントに従いながらいきます 公式ドキュメント Batchの開始 ダッシュボードからBatchを訪問 優しいチュートリアルがあります 今すぐ始めるを選択 ジョブの定義 ひとまず今回は簡単なテストを走らせるため設定内容はほぼデフォルトでいきます
ECSからGCPの通信でWorkload Identityを導入して、GCPのサービスアカウントキーを撲滅した - Adwaysエンジニアブログ
初めまして！エージェンシー事業でアプリケーションエンジニアをしている22年新卒入社の内原です。 今回は、私が所属するチームのシステム(AWS ECS/Fargate)にWorkload Identityを導入してGCPのさまざまなサービスへサービスアカウントキーを利用せずにアクセスする方法について紹介と思います。 背景 課題 基礎編: Workload Identityの導入方法 1. IAMロールの作成 2. Workload Identity PoolとProviderの作成 3. Workload Identityとサービスアカウントの連携 4. 認証構成ファイルの取得 5. 認証構成ファイルを利用してECSでアプリケーションを実行 応用編: Workload Identity連携におけるアクセス制限について 方法1: 属性マッピングと条件 方法2: サービスアカウントの紐付け時の条
Awesome Terraform | Curated list of awesome lists | Project-Awesome.org
A curated list of resources on HashiCorp's Terraform. Your contributions are welcome! Terraform enables you to safely and predictably create, change, and improve production infrastructure. It is an open source tool that codifies APIs into declarative configuration files that can be shared amongst team members, treated as code, edited, reviewed, and versioned. Contents Legend Official Resources Com
AWS CloudFormation のデプロイを楽観的な安定化で高速化した方法 | Amazon Web Services
Amazon Web Services ブログ AWS CloudFormation のデプロイを楽観的な安定化で高速化した方法 はじめに AWS CloudFormation を利用するお客様から、リソースプロビジョニングの内部処理や、AWS マネジメントコンソール や AWS Command Line Interface(AWS CLI) と比べてリソースまたはスタックのプロビジョニングに時間がかかる理由について質問をいただくことがあります。 そこで、この記事ではCloudFormation におけるリソースのプロビジョニングに影響する様々な要因について述べます。記事では特に、 CloudFormation やその他のInfrastructure as Code (IaC) ツールが信頼性の高いデプロイを確実に行うためのリソースの安定化について詳しく説明します。 また、CloudFor
こんにちは！コンサル部のinomaso(@inomasosan)です。 以前書いた以下のブログは、AWSマネージメントコンソールによるECS構築でした。 今回は手軽にリソースを作成・破壊するためにTerraformでコード化してみました。 環境 今回実行した環境は以下の通りです。 macOS BigSur 11.6 Terraform 1.0.7 AWSプロバイダー 3.63.0 Docker Desktop 4.1.1 フォルダ構成 % tree . ├── aws_ecs.tf ├── aws_sg_ecs-service.tf ├── aws_vpc.tf ├── container_definitions.json ├── provider.tf └── version.tf Terraformコード 基本的にAWSマネージメントコンソールで作成した時と同様のパラメータを設定してお
AWS CDKを(途中まで)使用してAmazon ECSの Blue/Greenデプロイ環境を構築する | SEEDS Creators' Blog | 株式会社シーズ
AWC CDKに関してはチュートリアルのリンクなどを本文中に貼っていますのでそちらをご覧ください。 Amazon ECRに関してはこちらを。 Blue/Greenデプロイについてはリンクはつけていないですが検索すると情報はいろいろでてきます。 Amazon ECS (Fargate) の作成aws-ecs-patterns moduleを使うチュートリアル にあるのですが、AWS CDKに aws-ecs-patterns module というものがあります。 ゼロからコンソールで作成する場合Amazon ECSの作成のほかにロードバランサーの作成をして、、などちょっと手間がかかりますが、aws-ecs-patternsを使用すると簡単に動くところまで作成してくれます。 以下は基本的にチュートリアルのコードですが少し変更しています。 imageの指定をECRから取得するように変更 1imp
仮想化を知るには、仮想化ではないとは何かを知るべきだ【Dockerコンテナ・グレートジャーニー①】 - Qiita
Dockerコンテナ・グレートジャーニー 皆さん、エンジニアとしては必須級の知識となっているDockerコンテナは使っていますでしょうか？ この記事ではDockerコンテナについて、仮想化とは何かという部分からDockerコンテナを実際に動かすまで、その全体像をイメージで掴めるように解説していきます。 Dockerコンテナを使ったことが無い方はもちろん、普段なんとなく使っている方も、この機会にDockerコンテナとは何なのかについて０から学ぶ、始まりの旅グレートジャーニーにご案内します。 本記事はグレートジャーニーの第１回、そもそも仮想化とは何か？ というお話です。 対象 Dockerコンテナを触ったことが無い人 Dockerコンテナは触ったことがあるけど、Webに書いてあるコマンドを打つだけで、中身をあまり理解していない人 イメージを交えながら出ないと理解が深めにくい（筆者のような）人
今回のマクアケ開発本部ではエンジニア・デザイナー採用フェーズで、2019年10月〜2020年3月までで250名弱のエンジニアと会ってきました。 その中で、採用に至った人も至らなかった人も含めて、お決まりの角度で聞いた質問と、それに対する回答をサマライズしてみましたので共有します。 象徴的な回答傾向へのレビューも併せてご覧ください。 まずは前提となる参考情報を。 あくまでこんなスタックを持った開発チームのCTOからのビューであることをご了承ください。 マクアケの技術スタックアプリケーション用メイン言語 - PHP ＆ FuelPHP - Swift - Kotlin Worker / API / Batch - Go - 一部PHP データストレージ（永続ストア） - Aurora - Spanner データストレージ（KVS） - memcached - redis Infra Struc
Amazon ECSへのDockerイメージのデプロイ方法（Latest運用簡易版） - honeplusのメモ帳
最近Dockerアプリの開発環境をAWSのAmazon ECSに構築する必要があって、環境構築の方法とかは普通に見つかったけど、デプロイの方法とかが分かりにくかったので、手順をここに纏めとく。 なお、タイトルに「Latest運用簡易版」とある通り、いわゆるタグを latest とかで毎回上書きする簡易的な手順。 latest でのデプロイは、本番では推奨されていないので注意。 （タグを変えてのデプロイは、CodeDeploy とかを使うと出来るらしい？） 1. Amazon ECRのリポジトリ作成AWS上のDockerコンテナレジストリであるAmazon ECRに、使用するDockerイメージ用のリポジトリを登録する。 （Docker Hubとかでも流れは同じだと思うが、今回は以下ECRで説明。） これは基本的に名前を入れるだけなので、あまり迷うことは無いと思う。 Latest運用というこ
AWS ECS + Rails + MySQL(Aurora) – 同じセキュリティグループに ECサービスとRDSを作成して RailsからDBアクセス可能にする - Qiita
AWS ECS + Rails + MySQL(Aurora) – 同じセキュリティグループに ECサービスとRDSを作成して RailsからDBアクセス可能にするRailsMySQLAWSECS 概要 同じセキュリティグループ同士は無条件に全てのトラフィックが許可されるので、ECSサービスもRDSも同じセキュリティグループに作成することでRailsからDBへのアクセスを可能にする Rails scaffoldなどでDBアクセスが発生するページを作成しておく
Dockerイメージのlatestタグのダイジェストをリポジトリに置いておくグッズをGitHub Actionsで作った - hitode909の日記
社内システムをAWS ECS上で運用しているのだけど、ECSってやつでデプロイできるらしい…くらいの知識からスタートしていたので、運用するイメージの指定にlatestタグのまま運用していた。 次のバージョンでは起動する前にデータベースのマイグレーションをしてほしい、という案内がきて、ということは、何かの拍子に最新に上がってしまうとアプリケーションが正しく起動できなくなることを意味している。どのタイミングでイメージが更新されるかあまり考えていなかったけど、オートスケールしてタスクが増減したり、EC2ごと壊れたらECSが立て直してくれるので、そういう任意のタイミングでlatestタグがpullされることになる。 latestタグのまま運用するのはよくあるアンチパターンなようで、ちょうどこの人と同じミスをしていた。 latestタグのままdocker imageを本番運用してどうなったか - 京
【29歳/未経験/独学】転職活動用SPAポートフォリオをご紹介します！【Nuxt.js, Rails, Docker, CircleCI, AWS ECS(Fargate), Terraform】 - Qiita
【29歳/未経験/独学】転職活動用SPAポートフォリオをご紹介します！【Nuxt.js, Rails, Docker, CircleCI, AWS ECS(Fargate), Terraform】RailsAWSDockerTerraformNuxt はじめに こんにちは！ Qiita記事初投稿となります。 掲題の通り、実務未経験からWeb系エンジニアへ転職するためにポートフォリオを制作しました！ まだまだ初心者レベルですが、自身の振り返りも兼ねて、簡単にご紹介できればと思います。 もし同じような境遇の方にとって何か参考になる点があれば、とても嬉しく思います！ 経歴 簡単な自己紹介です！ 29歳 大卒(文系) 営業2年→SE5年→現在 IT業界出身ではありますが、プログラミングによる開発業務はほぼ有りませんでした。 システムやプログラムに対する耐性が多少ある程度で、Web開発のスキルにおい
Perform ECS blue/green deployments through CodeDeploy using AWS CloudFormation - AWS CloudFormation
Perform ECS blue/green deployments through CodeDeploy using AWS CloudFormation You can use CloudFormation to perform ECS blue/green deployments through AWS CodeDeploy. Blue/green deployments are a safe deployment strategy provided by CodeDeploy for minimizing interruptions caused by changing application versions. This is accomplished by creating your new application environment, referred to as gre
こんにちは。島村です。 今更ではありますが、Amazon ECS Execを使う機会があったので 使用するまでの流れや概要など備忘録として記載したいと思います。 ECS Execの概要 ざっくりいうと、ECS Execはコンテナにログインできる機能です。 ECS Exec以前は、Fargateの起動タイプを選択している場合、コンテナにログインすることができませんでした。 ECS Execが登場したことで、ログインできるようになりました。 コンテナへログインできることで、トラブルシューティングに必要な情報がより得られることができます。 ECS Execの仕組み ECS ExecはSystems Manager Session Managerの機能を利用して実現しています。 そのため、IAMによるコンテナへのログインアクセスを制御することも可能です。 なお、タスクにアタッチしているセキュリティ
はじめに この記事は、トラストバンク Advent Calendar 2022の12日目です。 こんにちは、今年サーバーサイドエンジニア２年目になった石川です。 本記事では、現在私が社内で開発に携わっているAPIのアーキテクチャに関する解説記事となっています。 APIのアーキテクチャ では早速APIのアーキテクチャについてご紹介したいと思います。 まず、本APIのアーキテクチャには、クリーンアーキテクチャが採用されています。 こちらはAPIチームのテックリードによってAPIの設計/実装に落とし込まれており、 私も日々お世話になっているアーキテクチャなわけですが、 現状、外向けの解説記事があまりなかったため本記事にて解説したいと思います。 ※実際のAPIの内容については触れませんのでご了承ください 下記、テックリードの記事になります。 Laravelでクリーンアーキテクチャ （ディレクトリ構
Copilotで作成したApp Runner,Aurora Serverlessな環境でRailsを動かす こんにちは。レンティオ株式会社でエンジニアをしているMasaruTechと申します。 今回は会社のテックブログとして記念すべき最初の記事を書かせていただきました💪 始めに ちょうどプライベートでApp RunnerとAurora Serverlessな環境でRailsアプリケーションを動かしてみていました。 しかし調べていてもあまりApp RunnerとAurora Serverlessを使ってRailsアプリケーションを動かしているのを見かけなかったので、需要があるかは分かりませんがどなたかの参考になれば幸いです。 今回はRails Tutorialのアプリケーションをお借りしてCopilot(v1.8.2)で作成しています。 Copilotのmanifestファイルなども含んだ
AWS ECS で実行するバッチ処理を Cluster Auto Scaling を使ってコスト最適化する - Hatena Developer Blog
システムプラットフォームチームで SRE をしている id:chaya2z です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の6月号です。先月は id:MysticDoll さんの Postfixのログ監視で注意すべきSMTPのステータス仕様について でした。 ECS で実行するバッチ処理を、インスタンス数を最適化する仕組みである ECS Cluster Auto Scaling を使ってコスト最適化した取り組みを紹介します。 ECS の起動タイプに EC2 を使う背景 はてなでは、ECS の起動タイプとして Fargate ではなく EC2 を使用しているサービスがあります。そのサービス例として、バッチ処理があります。バッチ処理のジョブには数秒・数分で終わるものもあれば、数時間かかるものがあります。 EC2 起動タイプを選ぶ理由は、タスク終了までのタイムアウト待
こんにちは、AWS事業本部コンサルティング部の枡川です。 当エントリは弊社コンサルティング部による『AWS再入門ブログリレー2022』の16日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2022年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。16日目のテーマは『AWS CodeDeploy』です。 AWS CodeDeployとは アプリケーションを構成するフ
JAWS 札幌 勉強会で「コンテナとAWS」というお話をしました。 #jawsug #sapporo | DevelopersIO
こんばんわ、札幌のヨシエです。 2/22に31歳になりますが、その誕生日プレゼントとしてJAWS Sapporoの運営メンバーから「コンテナに関して登壇」というプレゼントを頂きました。 ですが、情勢的にリモートでの登壇をさせて頂きましたので資料の公開を含めて本記事を書きました。 参加者の皆さんには音声が聞きづらかった部分が多くあったと思いますので本記事でお伝えしたかったことをかいつまんで書きます。 資料 コンテナについておさらい コンテナとは コンテナはサーバーリソースを共有してアプリケーションを実行するために必要なソースコードやライブラリなどを詰め込んだ箱になります。 コンテナ自体はサーバーのようにbashが使用できるといった振る舞いを見せるので、仮想マシンのイメージを持たれがちかと思いますが、コンテナはホストOSからプロセスとして起動するので仮想マシンとは大きく異なるものになります。
[小ネタ] ECSをBlue/Greenデプロイに変更したらFargateが1.4.0から1.3.0に戻ってしまう | DevelopersIO
ちゃだいん（@chazuke4649）です。 超小ネタですが先日こんなことでハマったのでシェアします。 事象 ECS on Fargateにて、デプロイ方式をローリングアップデートからBlue/Greenデプロイメントに変更したところ、既存ServiceにてFargateのプラットフォームバージョンを 1.4.0を指定しているのに、デプロイされるタスクが 1.3.0になってしまう事象が発生しました。 原因 結論から言うと appspec.ymlでplatform versionを指定していなかったからでした。 詳細 本環境ではCodePipelineでCI/CDパイプラインを実行しており、そのデプロイステージ部分をECSによるローリングアップデートから、CodeDeployによるBlue/Greenアップデートに変更しました。 それによってタスクのデプロイメントを実行・管理する役割はECS
![[小ネタ] ECSをBlue/Greenデプロイに変更したらFargateが1.4.0から1.3.0に戻ってしまう | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6a9741a02eb429867ca2e150f4a4bb7fe198214f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-fargate.png)
こんにちは。エンジニアの遠藤です。 Classiでは、Datadogを使ってシステムの各種メトリクスをモニタリングし、異常があればSlackにアラート通知を飛ばすように設定しています。 今回は、AWSのECSのタスク数に関するアラート通知の設定を変更する機会があり、そのとき何を考え、どう変更したのかという日々の運用の様子を紹介したいと思います。 もともとの設定 あらゆるECSのサービス（以後、サービス）のタスク数について、 aws.ecs.service.desired - aws.ecs.service.running が5以上になればアラート通知を飛ばすように設定していました。 もともとのDatadogの設定 理由としては、例えばサービスAについては desired task が 10 で設定されていて、サービスBについては desired task が 20 で設定されていたとしても
AWS CDKで別リージョンにAWS Certificate Manager(ACM)証明書スタックをデプロイしてAmazon CloudFrontに設定する - NRIネットコムBlog
小西秀和です。 前回、AWS CDKで別リージョンにスタックをデプロイしてパラメータをリージョン間で受け渡す方法 －AWS CDKカスタムリソースの実装例の記事でAWS CDKでスタックをクロスリージョンにデプロイし、パラメータをAWS CDKカスタムリソースでリージョン間の受け渡しをする例を紹介しました。 今回はその記事の続編として、前回記事で作成したAWS CDKカスタムリソースを使用して実際にAWS Certificate Manager(ACM)証明書をデプロイする方法を紹介します。 パラメータをクロスリージョンで扱うAWS CDKカスタムリソースについては元記事を参照してください。 ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する場合は自己責任でお願い致します。また、予告なく修
CodeDeployのInstallイベントが一向に終わらないので原因切り分けと設定を見直した箇所 | DevelopersIO
FargateへCI/CDをCodePipelineで設定しました。デプロイフェーズはAmazon ECS（ブルー/グリーン）でプレースホルダ（taskdef.json, appspec.ymlを用意する方）を利用した設定としました。いざパイプラインを走らせてみるとCodeDeployのInstallイベントから一向に進まなくデプロイを詰みました。 現在のステータス以上のメッセージや、ログを確認できればよかったのですが、進行中以外の情報がとくに見当たりません。どこから手がかりが得られたのか、原因切り分けと対応内容の一例として紹介します。 プレースホルダ以外の方法あったっけ？というときは以下のリンクをご確認ください。 原因 ソースリポジトリ（CodeCommit）内のtaskdef.jsonの内容に誤りがあった。 taskdef.jsonのfamili:で指定するタスク定義名が違うものを指定
CodePipelineからAWS FargateにサイドカーパターンのFireLensコンテナも含めBlue/Greenデプロイするパイプラインを作成するCloudFormationテンプレート | DevelopersIO
Fargateに素のNginx（Webサーバ）とFireLens（Fluent Bit）込みの検証環境を構築するCloudFormationのテンプレートを以前紹介しました。アプリコンテナ（Webサーバ）とFluent Bitのデプロイ作業を簡略化するためにCodePipelineでCI/CDパイプラインを作成し連携させてます。デプロイ方式はプレースホルダを用いたBlue/Green デプロイメントを採用します。 前回の環境おさらい 前回アプリコンテナは素のNginxコンテナを利用していました。FireLens用のFluent Bitのイメージは自前の設定ファイルを読み込ませる都合、ECRにビルドした設定ファイル込みのイメージをpushしたものを利用していました。 今回はプレースホルダを利用してBlue/Greenデプロイをするためappspec.ymlとtaskdef.jsonが登場しま
AWS初心者がAWS 認定ソリューションアーキテクト – プロフェッショナル資格試験に合格した時の勉強法 - Qiita
概要 アソシエイト資格に合格してから2年、「AWS 認定ソリューションアーキテクト – プロフェッショナル」資格試験にもチャレンジしてみました。結果、なかなか大変だったけど、2回目の受験にしてなんとか合格できたので、アソシエイト資格に続きプロフェッショナル資格の勉強法を紹介します。 もしアソシエイト編に興味がある方がいたら以下に記事を投稿してします。 AWS初心者がAWS 認定ソリューションアーキテクト – アソシエイト資格試験に合格した時の勉強法 私の経歴 インフラは専門外 メインはアプリケーションエンジニア。システムの可用性／耐障害性とかはインフラチームにお任せ。AWSのアソシエイト資格取得で少し自信が付き、ちょっと口を出してみたりする。 AWS初心者から脱却中 仕事では、EC2の中のアプリケーションの話しが多いのであまり知識を活用できていない。ただ、個人のAWSアカウントでちょこちょ
急成長中のスタートアップ企業は、多様なAWSサービスをどう選択・活用し、ビジネス課題を解決しているのでしょうか。本連載では、スタートアップ企業の中でエンジニアリングをリードしている担当者がそのアーキテクチャをひも解き、AWS活用術を紹介していきます。第6回はマネーツリーのDirector of Engineering セルジオ・アルコス・セバステイアン氏が担当、テーマは「セキュリティとプライバシー保護」です。記事の最後には、SAによるポイント解説もあります。（編集部） マネーツリー社について マネーツリーは、2012年に日本で創業し、企業向けの金融データプラットフォーム「Moneytree LINK」や、数千もの金融機関からデータをまとめて一覧できる個人資産サービスアプリ「Moneytree」を提供しています。 多くの皆さんは、当社が一般の方向けにMoneytreeアプリを提供していること
FargateのコンテナでOSコマンドやsshで入りたい!! それssm-agentで解決できます - Qiita
Fargate便利ですよね。煩わしいインスタンス管理から開放させて素早く環境が用意できます。 ですがECSと違って一点大きな問題があります。 docker exec や SSH が実行できない!! EC2に慣れている人にはSSHで調べられないのはちょっとうっ。。。。って思います。(少なからず自分はそうでした) ではできないのか？というとそうでもないらしくいくつか方法はあるようです。 SSHの環境を設定してそこからコンテナに入る ssm-agent経由でコンテナに入る SSHの環境を整えても良いのですが、それだとせっかくのセキュアな環境が勿体ないので今回はssm-agentを経由したコンテナの入り方を構築したのでメモ代わりに残しておきます。 環境 AWS Fargate 参考にした記事 [AWS ECS]Fargateのcontainerにシェルで入りたい(sshd無しで！) これしかまとも
FireLens（Fluent Bit）からCloudWatch Logsへログを送信時、ThrottlingExceptionエラー回避のためログストリーム設定を見直す | DevelopersIO
CloudWatch Logsを知る エラーメッセージ内のキーワードを個別に確認します。 PutLogEvents APIとは CloudWatch LogsのログストリームにログイベントをアップロードできるAPIです。 PutLogEvents - Amazon CloudWatch Logs Fluent BitからCloudWatch Logsへログを送るのに利用されていました。 ThrottlingException Rate exceededとは 一定時間内に受信可能なAPIリクエスト数を制限しています。その制限値を超過したことを示しています。 一般的にスロットリングエラーを回避するには、APIリクエスト頻度を減らす、APIリクエストの間隔をずらす（同時実行数を減らす）、いい感じの間隔で再試行する（Exponential Backoff）などがあげられます。 今回はどこの制限値を
こんにちは、アライアンス事業部のきだぱんです。肌寒くなってきて、お鍋が美味しい季節になってきました。「お鍋×冬」の組み合わせも最高！！なのですが、それに負けないくらい「GitLab×AWS」も最高なので、今回はお鍋の話題ではなくAWSでのGitLab活用について見ていきたいと思います。本記事はクラスメソッド DevOps・セキュリティ Advent Calendar 2023とGitLab Advent Calendar 2023の12/11記事になります！ こんにちは、こんばんは。アライアンス事業部のきだぱんです。 今年も残りわずか… 12月に入りました。アドベントカレンダーの季節です！ 本記事はクラスメソッド DevOps・セキュリティ Advent Calendar 2023とGitLab Advent Calendar 2023の12/11記事になります！ - GitLab Adv
Step FunctionsからECS RunTaskしようとしたら「ECS.AccessDeniedException」と出た時の対処法 | DevelopersIO
こんにちは。AWS事業本部コンサルティング部に所属している今泉（@bun76235104）です。 みなさん、Step Functionsを使っていますか？ Workflow Studioで視覚的にステートマシンを組み立てるのが非常に楽しくて私は大好きです！ 今回はAWSマネジメントコンソールからStep FunctionsでECE RunTaskのタスクを設定した時に以下のようなエラーが出た時の対処法を書かせていただきます！ User: arn:aws:sts::${アカウントID}:assumed-role/${ロール名}/hogehoge is not authorized to perform: iam:PassRole on resource: arn:aws:iam::${アカウントID}:role/${タスク実行ロール名} because no identity-based p
CDK(Python)でCodePipelineを作ってECSにデプロイしてみた | DevelopersIO
こんにちは、soraです。 今回は、CDK(Python)でCodePipelineを作ってECSにデプロイしてみたことについて書いていきます。 CDKのPythonコードメインで説明し、CodePipelineとはみたいな各サービスの説明は割愛します。 また、とりあえず動くものを作ることを目的としているため、ログ取得の有効化などはしていません。 今回やってみること 今回の構成は以下です。 CodeCommitリポジトリのコミットをトリガーとしてCodePipelineが動いて、ECSにデプロイする構成です。 CodeCommit・ECR・ECSは既に存在している状態として、他の部分をCDK(Python)で作っていきます。 環境 Cloud9上に構築した開発環境でCDK(Python)を使って構築します。 (.venv) $ python --version Python 3.7.16
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RailsアプリケーションにThrusterを導入する - メドピア開発者ブログ
SOCIインデックスによるECSのデプロイ時間短縮について検証しました - コネヒト開発者ブログ
【Terraform】ECS自動デプロイ - Terraform編 - - Qiita
猿でも出来るECR + ECS自動化最強githubactionsを晒す - Qiita
AWS Batchを使ってcronのような定期的処理を実現する - Qiita
TerraformでECS FargateのApache起動をコード化してみた | DevelopersIO
採用活動でエンジニア250人と面談・ヒアリングしたので簡単にサマってみました｜Yohei
Amazon ECS Execを使ってみる - サーバーワークスエンジニアブログ
LaravelにおけるクリーンアーキテクチャなAPI実装の解説 - トラストバンクテックブログ
Copilotで作成したApp Runner,Aurora Serverlessな環境でRailsを動かす
AWS再入門ブログリレー2022 AWS CodeDeploy 編 | DevelopersIO
AWS ECS監視のオオカミ少年化を防ぐために考えたちょっとしたこと - Classi開発者ブログ
AWS Fargateの活用事例――金融業界の繊細なセキュリティ課題をどう乗り越えるのか、マネーツリーに学ぶ
AWSでのGitLab実装パターンについてまとめてみた | DevelopersIO