Solrのクラウド移行 -AWS ECS Fargateの事例- - LIVESENSE ENGINEER BLOG
はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移行自体を最優先とするため、スコープを以下に定めていました。 Apache Solrから他の検索エンジンへは乗り換えない アプリケーション側の改修は向き先の変更だけに留める Apache Solr自体のバージョンUP対応はしない 運用負荷を軽減できる形の構成変更を加える 移行スピードと移行後の運用コストとの天秤 新たに運用しないといけなくなるコンポーネントはなるべく増やさない モニタリングや監視の精度はなるべく落とさない 上記を踏まえ、以降の節ではApache Solrのサービス内利用箇所の紹介から始め、 インフラ構成・デプロイ・モニ
こんにちは。 メディアサービス開発部、Webアプリケーション開発課のフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 本記事では、2022年の9月8日から9月10日にかけて三重県津市で開催された、RubyKaigi 2022に現地参加したことについてお話しします1。 RubyKaigiとは 実に3年ぶりの物理開催 見に行った講演の感想など Ruby meets WebAssembly Making ＊MaNy＊ threads on Ruby Building a Lightweight IR and Backend for YJIT Towards Ruby 4 JIT Ruby debugger - The best investment for y
MackerelでSLI/SLO運用をする際に役立つ機能やツールの紹介 - Mackerel お知らせ #mackerelio
この記事は Mackerel Advent Calendar 2021 の17日目の記事です。 Mackerel SREチームのid:masayoshi です。 今回はAWS ECSとALBで構築したWebアプリケーションを例に、Mackerelを利用したSLI/SLOの設定、運用改善に利用できる機能やツールを紹介したいと思います。 今回紹介する機能やツールの概要図です。 ALB+ECS環境とMackerel まずは、ECSで動いているWebアプリケーションのSLI/SLOを考えていきましょう。 最初から複雑なSLI/SLOを設定、実装するのは難しいため、簡単に取得できるメトリックや監視設定から運用を始めていき、徐々に監視を改善していくことをおすすめします。 ここでは、以下のようなSLI/SLOを設定したと仮定して、メトリックの取得する方法など見ていきましょう。 レイテンシー HTTPレス
AWS ECSを構成する3つの概念（Cluster, Service, Task） - keroxpのScrapbox
Dockerのおかげでアプリケーションのポータビリティが上がったはずなのに、なぜ即デプロイできないのか？
監視SaaSが使えなくなった話 | ドクセル
⾃⼰紹介 和田 雄樹（Yuki Wada） ウェルスナビ株式会社 / システム基盤チーム / インフラエンジニア > チーム規模: 5人（2024年1月時点） > 技術スタック: AWS/ECS/EKS/Terraform/Datadog/PagerDuty ウェルスナビでは ● SRE、FinOps、Containerization、Securityいろいろやってます ● ウェルスナビにおけるコンテナ化の取り組み という記事書きました ひとこと ● 最近、長野（松本）から上京してきました 2 @2024 WealthNavi Inc. https://tech.wealthnavi.com/entry/20240110/1704855600
DatadogでAPI毎のSQL発行数を可視化してN+1を改善！ - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、スマートホーム化にハマっていていろいろと買い漁っています🛒 N+1問題を検知するのって結構大変ですよね？ 今回はDatadogを使ってN+1問題を可視化し、パフォーマンス改善につなげた話を紹介したいと思います。 ※ 2024/05/29に開催されたJapan Datadog User Group Meetup#4 でもLTしてきました🎤 speakerdeck.com N+1問題とは？ N+1問題は主にデータベースへのクエリーを扱う際に出くわすパフォーマンス上の問題です。1つのクエリーでN件のデータを取得した後にそれぞれのデータに対して追加でクエリーが発行されることでパフォーマンスを大幅に低下させます。（1 + N問題と呼んだ方がしっくりくる気がしますが...🤫） 背景 この取り組みを始めた経緯は、システムへのリクエスト
SREの本田（@mov_vc）です。 Kaizen Platformではインフラ構築にPulumiを採用し始めています。今回は、Pulumiの基本的な説明+ECS環境をPulumiで構築した手順をまとめました。結論から言うとPulumi、かなり便利なので、導入を考えているよ〜という人はぜひ読んでみてください。 TL;DR 汎用言語で書ける TypeScript, JavaScript, Pythonで記述できます。 依存関係解決してくれる リソース間に依存関係があってもPulumiさんがよしなにやってくれます。 WebUIやべーじゃん WebUIはこんな感じでプロジェクト、環境一覧画面があり、イケてます。 作業履歴とかもWebUIで確認できる 環境ごとのstate情報、Pulumi作業履歴などが確認できます。 開発めっちゃ活発 リリースサイクルが週1ペース。ちゃんと寝てる？？？ ぷ…Pul
NEW – Using Amazon ECS Exec to access your containers on AWS Fargate and Amazon EC2 | Amazon Web Services
Containers NEW – Using Amazon ECS Exec to access your containers on AWS Fargate and Amazon EC2 Today, we are announcing the ability for all Amazon ECS users including developers and operators to “exec” into a container running inside a task deployed on either Amazon EC2 or AWS Fargate. This new functionality, dubbed ECS Exec, allows users to either run an interactive shell or a single command agai
GitHub ActionsにAWSクレデンシャルを直接設定したくないのでIAMロールを利用したい | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 前回と前々回でGitHub ActionsからECSのCI/CDやIAMポリシーの最小権限作成を試してみました。 [初心者向け] GitHub ActionsからECS FargateにCI/CDしてみた GitHub ActionsからECSとECRへのCI/CDを最小権限で実行したい 今回はGitHub ActionsでAWSの一時的なクレデンシャル(アクセスキーID、シークレットアクセスキー)を利用したいので、IAMユーザーの代わりにOIDCプロバイダとIAMロールを設定していきます。 IAMユーザーのクレデンシャルだとダメなの？ IAMユーザーで発行したクレデンシャルは永続的に利用可能です。 GitHubではAWSのクレデンシャルをSecretsにより秘匿化できますが、AWS外のサービスに永続的なクレデンシャル
CDKプロジェクトと必要なライブラリのインストール $ mkdir aws-cdk-construct-library-sample $ cd aws-cdk-construct-library-sample $ cdk init app --language=typescript $ npm install --save @aws-cdk/aws-lambda @aws-cdk/aws-apigateway @aws-cdk/aws-iam @aws-cdk/aws-ecs-patterns @aws-cdk/aws-ecs High Level Constructで実装 まずは、High Level Constructで実装します。Lambda + API Gatewayのリソースを作成します。 サンプル用のLambdaのコード src/handler/app.ts export as
ECSサービスに複数のターゲットグループを登録できるようになり、複数のポートを外部公開するのがより簡単になっています。運用上のデメリットも併せて解説します。 「なんか同じタスク定義から別々のECSサービス作成されてるけど、これなんなん？」 「しゃーないやん、ターゲットグループ1つしか登録できへんねんから」 待望のアップデートです！ Amazon ECS（EC2とFargate両方）において、ECSサービスに複数のターゲットグループをアタッチできるようになりました！ Amazon ECS サービスで複数のロードバランサーターゲットグループのサポートを開始 従来、ECSサービスに対してターゲットグループが1つしか登録できないために複数のロードバランサーを紐付けできなかったのが、複数登録できるようになりました。 ECSサービスを1つにまとめることで運用面でもランニング費用面でもメリットがあります
AWS Fault Injection Simulator の Amazon ECS に関する新機能のお知らせ | Amazon Web Services
Amazon ECS タスクにフォールトインジェクションを行う仕組み 次の図は、AWS FIS が Amazon ECS タスクにフォールトインジェクションをどのように行うかを表現しています。AWS FIS は AWS Systems Manager SSM Agent を使って、フォールトインジェクションを実行しています。Amazon ECS タスク内で、サイドカーとして SSM Agent を動かすことで、AWS FIS がフォールトインジェクションを実行できるようにしています。これにより、Systems Manager の Run Command 経由で様々な障害試験を行うことで、潜在的な問題を発見し改善しやすくなります。AWS FIS のフォールトインジェクションを行うために、ECS のタスク定義に、SSM Agent のサイドカーを追加する必要があります。 ウォークスルー 次のス
5分で理解するAWS CDK - Qiita
はじめに 本記事はAWS CDKについてキャッチアップすることを目的に、AWS CDKの概念や、ウォークスルーとしてAWSが公開しているWORKSHOPについて記載しています。 AWS Cloud Development Kit (AWS CDK) （以下、CDK）はTypeScript及びPythonなどのプログラミング言語を使用して、AWSリソースを定義し、Terraformの様にInfrastructure as Code（以降、IaC）を実現する手段として、クラウドインフラのリソースをプロビジョニングすることができます。 TerraformはGo言語で書かれた公式のAWS SDKを用いて、Terraform実行時にAWSのAPIを呼び出して、環境を構築しています。 Terraformは1つのプロバイダーに依存することなく、他のプロバイダーのクラウドインフラを扱えることから、汎用性だ
フルサイクルエンジニアリングの第一歩を進める - BASE BANKでの新たな挑戦 - BASEプロダクトチームブログ
この記事は BASE Advent Calendar 2023 の9日目の記事です ごあいさつ はじめましての人ははじめまして、こんにちは！BASE BANK Divisionのフロントエンドエンジニアのがっちゃん（ @gatchan0807 ）です。テックブログに出てくるのは半年ぶりぐらいですね。お久しぶりです ちょっと大それた感じのタイトルを付けてしまいましたが、今回の記事では、先日 BASE BANK Divisionに社内公募という制度で異動して感じた BASE 組織との違いと、オンボーディングタスクでAWS ECSと格闘した記録をご紹介していこうと思います！ また、20日の記事では私も含む、実際に社内公募制度を使って異動したメンバーの体験談や感想などをまとめたものが公開される予定ですので、そちらもぜひご覧ください！ BASE組織とBASE BANK組織の違い まずはBASE BA
こんにちは、志水です 先日、ありがたいことに2021 APN ALL AWS Certifications Engineers & AWS Top Engineerに選出されました。周りの皆様の支援があってだと思いますので、本当に感謝しています。 さて、先日は非常にテンションの上がる記事がありましたね。何でしょう？そう、AWS App Runner（以降App Runner）の登場ですね。（AWS Amplify SSR対応も最高でしたね） もし結婚報道がよぎった方は、本記事を読んで頂きしっかり自分を見つめ直して頂ければと思います。 App Runnerとは まず簡単にApp Runnerとは何かを説明します。 App Runnerとは、コンテナ環境を簡単にデプロイ出来るフルマネージドなコンピューティングサービスです。 今までコンテナ環境をデプロイする際には、アプリケーションをDocker
週刊Railsウォッチ（20201221前編）aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか｜TechRacho by BPS株式会社
2020.12.21 週刊Railsウォッチ（20201221前編）aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか こんにちは、hachi8833です。約400年ぶりという木星と土星の超大接近は12/21（月）なので今夜ですね。と思ったらもう西の空に沈んでしまったようです。 参考: 【特集】2020年12月 木星と土星の超大接近 - アストロアーツ 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙇 ⚓Rails: 先週の改修（Rails公式ニュースより） 今
Terraform 0.14 Upgrade Trouble Shooting - BASEプロダクトチームブログ
この記事は BASE Advent Calendar 2020 の 18 日目の記事です。 こんにちは。BASE BANK 株式会社 Dev Division にて、 Software Developer をしている東口（@hgsgtk）です。 先月・先々月と連続で Terraform に関連したブログを投稿しているのですが 2020 年最終月も Terraform 話で締めさせていただきます^1。 TL;DR Terraform 0.14 が GA(General Availability)になった dependency lock file .terraform.lockが追加され、VSC 管理化に含めるかについてプロジェクトによって扱いの検討が必要 0.14.0 では、ignore_changes = allを使用したリソース定義の扱いにバグがあり 0.14.1 で修正された 当該機能
[アップデート] Mountpoint for Amazon S3 が GA されました。 | DevelopersIO
αリリースとなっていた高スループットが求められる環境向けの AWS 製 S3 マウントツール「Mountpoint for Amazon S3」が一般公開されました。 こんにちは、AWS事業本部の平木です！ 少し前より、αリリースとして公開されていた Mountpoint for Amazon S3 が GA (一般公開)されたため執筆しました。 αリリース分のブログは下記をご覧ください。 Mountpoint for Amazon S3 とは Mountpoint for Amazon S3 は、Linux アプリケーションが直接 Amazon S3 バケットへのファイルベースでの接続を可能にするオープンソースのファイルクライアントです。 これにより、大規模な読み込み負荷のあるアプリケーション(例えばデータレイク、機械学習トレーニング、画像レンダリング、自動運転車シミュレーション、ETL
![[アップデート] Mountpoint for Amazon S3 が GA されました。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/26ddcbeeebba3c0b350413c7b63ddf812112d927/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-s3.png)
CX事業部Delivery部の新澤です。 先日発表されたECSの新しいマイクロサービス間通信の機能「Service Connect」が、CDKでも早速リリースされていましたので試してみました！ 概要 Service Connectの動作確認をするため、同じCloudMap名前空間の中にサーバーとクライアントの2つのFargateサービスを作成してクライアントからサーバーに対して通信を行ってみたいと思います。 また、CloudMap名前空間外のEC2インスタンスから通信を行った場合はどうなるのかも併せて確認してみます。 Fargateサービスは簡単に作成するためにクライアント、サーバーともにnginxのコンテナイメージを用います。 クライアントからサーバーへの疎通確認は、クライアントにECS Excecを使ってリモートログインして、curlコマンドでリクエストしてみます。 また、CloudM
New – Amazon ECS Exec による AWS Fargate, Amazon EC2 上のコンテナへのアクセス | Amazon Web Services
Amazon Web Services ブログ New – Amazon ECS Exec による AWS Fargate, Amazon EC2 上のコンテナへのアクセス この記事は、 NEW – Using Amazon ECS Exec to access your containers on AWS Fargate and Amazon EC2 を翻訳したものです。 本日、開発者、運用者を含むすべての Amazon ECS ユーザに向けて、 Amazon EC2 もしくは AWS Fargate にデプロイされたタスク内のコンテナに “Exec” する機能を発表しました。この新しい機能は、 ECS Exec と名付けられ、コンテナに対して対話型のシェル、あるいは一つのコマンドを実行できるようになります。これは AWS コンテナロードマップ上で最も要望の多かった機能の一つであり、一般
やらなきゃ損!? 円安時代の AWS Graviton2 移行 - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」
AWS Fargate コンテナの Graviton2 移行について実例を交えてご紹介します。 こん**は。 新型コロナウイルス感染症は5類感染症に移行となりましたが、読者の皆様はお変わりなくお過ごしでしょうか。お久しぶりの投稿となります、プロダクト技術本部の江角です。 前回執筆させていただきましたGitログの記事では「ほぼフルリモート！」とお伝えしていましたが、近況に変化がありましたので少しお話できれば、と思います。 BIGLOBEは４月より組織改編等もあり、「リアルでの会話、議論を重視したい」という流れのもと、今までは疎らだったオフィスに人が戻って来つつあります。 私が今所属しているグループでは「会議が被る曜日はメンバーで出社を揃えよう」という試みも実施していたりします。 『ほぼフルリモートだと聞いていたのに全然違った！😡』ということが無いよう、あくまで直近のご報告とさせていただきま
AWS Fargate使ってサーバーレスでSelenium+Headless Chromeを実行する - YOMON8.NET
この記事に行き着いた方でしたら、日々自動化を進めている中にも、ブラウザでのクリック、クリック、入力、クリック、みたいな作業が残っている人が多いと思います。 REST等でAPIが公開されていれば良いのですが、そういうAPIが提供されていないサービスもたくさんあります。 ブラウザの自動化でいつもお世話になっているSeleniumですが、一日数回の実行のためにサーバーを立てておくのももったいない。ということで、常時起動のサーバーを立てない方法としてFargateを使ってみることにしました。 やりたいこと シナリオ Dockerイメージ準備 プログラム ベースのイメージ Dockerイメージをビルド ECRへのデプロイ ECRログイン ECRにリポジトリ作成 ECRにイメージをデプロイ ECS(Fargate)へのタスク設定 CloudWatch Logsのグループ作成 クラスタ作成 タスク定義
新機能 – AWS ECS Cluster Auto ScalingによるECSクラスターの自動スケーリング | Amazon Web Services
Amazon Web Services ブログ 新機能 – AWS ECS Cluster Auto ScalingによるECSクラスターの自動スケーリング 本日、AWS ECS Cluster Auto Scalingを発表します。この機能は、スケールアウトを高速化し信頼性を向上させる、クラスター内の空きキャパシティ管理の提供と、スケールイン時に終了されるインスタンスの自動管理を提供し、クラスターの自動スケーリングをより使いやすいものにします。 ECS Cluster Auto Scalingを有効にするには、Capacity Providerと呼ばれる新たな項目を設定する必要があります。1つのCapacity Providerは1つのEC2 Auto Scaling Groupに関連づきます。あるAuto Scaling GroupにECS Capacity Providerを関連付け
Building a Modern CI/CD Pipeline in the Serverless Era with GitOps | Amazon Web Services
AWS News Blog Building a Modern CI/CD Pipeline in the Serverless Era with GitOps Guest post by AWS Community Hero Shimon Tolts, CTO and co-founder at Datree.io. He specializes in developer tools and infrastructure, running a company that is 100% serverless. In recent years, there was a major transition in the way you build and ship software. This was mainly around microservices, splitting code int
前のエントリでDatadogについて書いたが、実際にGoのアプリケーションがOpenMetricsを吐くようにするのはどうのようすれば良いかをもう少し解説します。 OpenMetricsとは？ 元々[Prometheus]が利用しているフォーマット。Prometheusは"Promethues exporter"と呼ばれる監視対象からメトリクスを集約する作りになっている。 Prometheus exporterは実は「単なるHTTPのエンドポイント」であり、そのレスポンスが独自のテキストフォーマットになっている。このフォーマットを標準化しようとして提唱されているのがOpenMetrics。 https://openmetrics.io/ 実際問題としては、Prometheusのドキュメントの方がまだまだ充実している。 DatadogにはOpenMetricsのインテグレーションがあり、自前
AWS Fargateとは？Amazon ECSとの関係性やメリット・デメリットを解説｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.03.17｜ Writer：NTT東日本アベ AWS Fargateとは？Amazon ECSとの関係性やメリット・デメリットを解説 【クラウド導入を検討中の方必見！】「NTT東日本がおすすめするクラウド導入を成功させるためのお役立ちマニュアル 」を無料でダウンロードしていただけます！今すぐこちらをクリック！ 企業情報システムのITインフラストラクチャはオンプレミスからクラウドへと移行しています。それにともない、開発環境や本番環境のサーバーやネットワーク管理もユーザーの手から離れ、クラウドサービス事業者が管轄するようになってきました。また、従来のクラウドサービス利用ではクラウド上にユーザーが仮想マシンを構築するスタイルが一般的でしたが、近年のコンテナ利用に見られるようにクラウド上のホストマシンすら意識させないスタイルになりつつあります。そこで今回は、コンテナの実行環境であるAWS
はじめに LITALICOの亀田（ @kamesennin ）です。エンジニアです。 良い組織が良いプロダクトをつくる 主体性と自律性が良い組織の大きな条件の1つ などといった信念の下、日々組織のことを考えています。 TL;DR （当たり前のように使っている組織もありますが）LITALICOでもエンジニア以外の職種も交えてGithubとZenhubを使ってプロダクト開発を始めたら、幸せになったことが結構あったし、見えた課題と今後改善したい点もちらほら出てきた。 ※ Githubとは多くの開発者にとってお馴染みの「開発者をサポートする便利なプラットフォーム」 ※ Zenhubとは「Agile Project Management and Product Roadmaps Inside GitHub」と本サイトに書かれている通り、「アジャイルなプロジェクトマネジメントとプロダクトロードマップの
CodePipeline を利用した ECS Service の自動リリースをやってみた | DevelopersIO
ECS を利用したアプリケーションを構築する上でデプロイ戦略の選択は重要な要素になります. 開発段階では ECS が制御するローリングアップデートを利用して手動デプロイすることはあっても, 本番環境では自動デプロイが好ましいでしょう. 今回はCodePipelineを主軸に自動デプロイできる環境を構築します. デプロイ戦略の概要について 今回はパイプライン内でDocker Imageをビルド, pushを行った後に, ECS ServiceをBlue/Greenデプロイします. またDocker Imageに付与するタグとしてgitのコミットハッシュを利用することでコードとイメージを一意に紐づけることも同様に行います. パイプラインの構築は主にTerraformを利用しますが, 一部AWS CLIを利用します. 今回は検証が目的のため, 本番環境を意識したコード分割などは行っていません.
「JX通信社Advent Calendar 2019」24日目の記事です. 昨日は@kimihiro_nさんによる, 「Immutable Python ~ NamedTuple で書く副作用のないプログラム」の話でした. こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアおよび野球*1をしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めています. その過程でいろんなFrameworkやサービスを試して...の一つの成果として以前こんな話をしました.*2 tech.jxpress.net このエントリーではもうちょっとプラットフォーム・基盤に寄り添ったテーマで, 同僚氏に「K8sいいぞ！」と布教活動を受けた結果, 4日で本番運用までこぎつけた話 をしたいと
こんにちは。インフラエンジニアの永井(shnagai)です。 re:invent真っ最中で、EKS for Fargateが発表されたりFargate Spotが発表されたり今年も激熱ですね！！ 今回は、日々アップデートされているECSの新機能の中から今年導入したものと今後導入を検討していきたいと思っているものについて書こうと思います。 内容はざっくりと下記3項目です。 パラメータストアに保管した値の環境変数への注入方法変更 Container Insightsを使ったタスクの監視 今後導入していきたいこと Savings PlansでのFargateのコスト削減 FireLensを使って脱CWLの柔軟なログルーティング この記事はコネヒト Advent Calendar 2019 4日目の記事です。 パラメータストアに保管した値の環境変数への注入方法変更 アプリケーションで利用する秘匿変
ECS Execの有効化が原因でECSタスクがPROVISIONING状態から遷移しなくなった話 | DevelopersIO
CX事業本部@大阪の岩田です。 先日ある環境でECSのタスクがPROVISIONING状態のまま固まって(PENDINGではないのがポイントです！)起動できなくなるという問題が発生しました。※正確にいうとPROVISIONING状態で30分程度固まる→STOPPEDに遷移→新しいタスクがPROVISIONINGされ再度30分程度固まり...という状況です。 最初はNATゲートウェイ周りの設定漏れやECRのVPCエンドポイント設定漏れに起因したよくある問題かと思っていたのですが、色々調査しても一向に原因が分かりませんでした。最終的にECS Execの有効化が原因だったことが分かったので、同じ事象でハマる人が出ないように改めてブログにまとめてみました。 結論 先に結論ですがECS Execを有効化したECSサービスでAuto Scaling グループキャパシティープロバイダーを利用するとタスク
その他エンドポイント 以下のエンドポイントは構成によって必要になります。 CloudWatch Logs エンドポイント（com.amazonaws.region.logs） Secrets Manager エンドポイント（com.amazonaws.region.secretsmanager） Systems Manager エンドポイント（com.amazonaws.region.ssm, com.amazonaws.region.ssmmessages） ECSのエンドポイント解説 表に記載した通りです。EC2の場合はVPCエンドポイントが必要な一方、Fargateでは必要ありません。 EC2ではコンテナエージェントがECSサービスと通信する必要があるため、VPCエンドポイントが必要になっています。 ECRのエンドポイント解説 コンテナイメージをECRに保存している場合はECRへのエ
たった23行で Amazon ECS にデプロイできた。あらゆるプラットフォームでアプリケーションをビルド、デプロイする Waypoint を使ってみた。 | DevelopersIO
先日、Terraform でお馴染みの HashiCorp 社から ”Waypoint" という新たなオープンソースプロジェクトが発表されました。 アプリケーションのビルド、デプロイ、リリースといったワークフローを、Kubernetes/AWS/GCP/Azure など 12 以上のプラットフォームで利用可能。マルチプラットフォームに対応しているだけならば同様のツールはあるかもしれませんが、Waypoint は各プラットフォームごとのお作法などを抽象化し、開発者にインフラを意識させることなくデプロイ出来ることを目指したツールのようです。（位置づけてきに Spinnaker に近い？） まだプロジェクトの初期ということで本番環境で利用できるものではないと思いますが、ひとまず ECS へのデプロイをサクッと試してみました。 Waypoint とは まずは Waypoint のコンセプトや目標に
はじめに この記事はLCL Advent Calendar 2020 - 24日目です。 qiita.com リモートワークと外出自粛の組み合わせにより年の瀬をあまり感じていないバックエンドエンジニアの星野です。 LCLではAmazon ECSを活用しています。 その中でAmazon API GatewayのHTTP APIと組み合わせて使う機会があったので紹介したいと思います。 はじめにHTTP APIとREST APIの違い、それによるVPCリンクの挙動違いについてはクラスメソッドさんの記事によくまとまっていましたので参考にしてください。 dev.classmethod.jp dev.classmethod.jp システム構成図 システム構成図は次のようになります。 クラスメソッドさんの図とほぼ同じです本当にありがとうございました 外側からAPI Gateway、ECSサービスディスカ
SRE Lounge #11 で Repro で行っている ECS の auto scaling について発表しました。ECS autoscaler で工夫している点についてがメインですが、一般的な auto scaling にも使える知見もあるかと思います。 補足 時間の都合上、発表で言及しなかったこともあるので補足です。 ECS_ENABLE_SPOT_INSTANCE_DRAINING について 発表でも軽く触れましたが、ecs-agent 1.32.0 以降を使っている場合、ECS_ENABLE_SPOT_INSTANCE_DRAINING パラメータに true を指定することで、spot instance の interruption warning (notice) を受け取った場合に勝手に draining 状態にしてくれます。 cf. Amazon ECS support
こんにちは！MLエンジニアの野澤（@takapy0210）です。 10月から軽減税率が始まりましたね。みなさんの身の回りで混乱は起きていませんでしょうか？ そんな中、軽減税率に関するこんな記事を見ました。専門家の人たちでも判断に困る事例があるようなので、難しいですね。 さて、本日はAWS × slackを使って、DDLの自動実行フローを構築した話をできればと思っています。 目次 DDLって何？ 従来のフロー 新・自動化フロー dry-run実行 DDL実行 自動化して何が嬉しかったか アーキテクチャ構築のポイント Step FunctionsでFatgate Taskを実行するときの注意点 セキュリティグループを正しく指定する必要がある EcsTask実行ポリシーに、「タスクを実行するRoleにアクセスする権限」を追加する必要がある slack apiとAWS API Gatewayの連携
はじめに こんにちは、アルダグラムのSREエンジニアの okenak です。 今回はスタートアップ企業のAWSコスト最適化に取り組んだ内容を紹介したいと思います。 背景 弊社はグロース期のスタートアップ企業ですがAWSのコストが約1年間で4倍に上昇しました。 これまでは社内の生産性向上や安定したサービスを提供するために、インフラリソースを潤沢に利用してきましたが、急激な円安等の流れもあり今ここにきて見直しが必要なタイミングとなったためコスト最適化に取り組むことにしました。 （上記は補足として開発用と本番用のAWSアカウントの合算の金額です） コスト最適化のための取り組み コスト最適化に関してはトレードオフの関係があります。 特に市場に投入するまでのスピードを重視するスタートアップ企業では人的リソースがかぎられるためコスト最適化のための工数は犠牲になりがちです。（それが大きく問題になるまでは
FireLens（Fluent Bit）でエラーログだけはCloudWatch Logsへ、すべてのログはS3バケットへ保存を実現する設定例 | DevelopersIO
本検証利用したFargateのCloudFormationテンプレート、FireLensのDockerfileなどは以下に置いてあります。タスクロールなどは必要に応じて確認してください。 Fargate一式 FireLensのDockerfile 設定ファイル 以下のFluent Bitの設定ファイルを作成しました。 extra.conf [SERVICE] Flush 1 Grace 30 # ELBヘルスチェックログ除外 [FILTER] Name grep Match *-firelens-* Exclude log ^(?=.*ELB-HealthChecker\/2\.0).*$ # エラーログにタグ付け [FILTER] Name rewrite_tag Match *-firelens-* Rule $log (emerg|alert|crit|error|\s4\d{2}\
Centralized Container Logging with Fluent Bit | Amazon Web Services
AWS Open Source Blog Centralized Container Logging with Fluent Bit September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. Visit the website to learn more. by Wesley Pettit and Michael Hausenblas AWS is built for builders. Builders are always looking for ways to optimize, and this applies to application logging. Not all logs are of equal importance. Some requ
Fluent BitとFluentd Firelensで起動するログルーティングのコンテナは同じタスク内にサイドカーとして起動します。 軽量なコンテナの方が嬉しいのでFluent Bitを採用しました。 参考： Fluent Bit による集中コンテナロギング | Amazon Web Services ブログ 設定ファイル込みのイメージ作成 同じログ内容を合計3箇所の出力先へ送るシンプルなFluent Bitの設定を作るところからはじめます。Fluent Bitの設定次第で特定のログであればCloudWatch Logsへ、それ以外はS3バケットへ送信も可能です。Fluent Bitのドキュメントまで読みきれなかったので細かい設定は断念。 Fluent Bitの設定ファイル作成 各プラグインの設定はFluent Bitドキュメントを参考に出力先を設定しました。 S3へ直接する保存する場合
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RubyKaigi 2022に参加しました - BOOK☆WALKER inside
PulumiでECS環境を構築する - Kaizen Platform 開発者ブログ
AWS CDK の3種類の Construct を使ってデプロイしてみた | DevelopersIO
ECSサービスに複数のターゲットグループを登録できるようになりました！ | DevelopersIO
AWS App Runnerでモテよう 〜PHPシステムアーキテクトを目指して〜 - NRIネットコムBlog
ECS Service ConnectをCDKでデプロイしてみた | DevelopersIO
GoのアプリケーションをOpenMetricsを使って監視する | おそらくはそれさえも平凡な日々
エンジニア以外も皆でGithub/Zenhub�を使ってプロダクト開発してみた話 - Qiita
K8sデビューしてから4日で小さな本番プロダクトをリリースした話 - JX通信社エンジニアブログ
Amazon ECSで2019年に導入した新機能 - コネヒト開発者ブログ
ECSに必要なVPCエンドポイントまとめ（2022年版） | DevelopersIO
ECSをAPI Gatewayと組み合わせる - LCL Engineers' Blog
SRE Lounge #11 で「安定・安価なECS auto scalingを目指して」を発表しました
AWS × slackを用いたDDL自動実行フローを構築しました - コネヒト開発者ブログ
AWSのコスト最適化を行い30%程削減した話
AWS FargateでFireLensを使って同じログを3箇所に送ってみた | DevelopersIO