dbtでCIを実現するために、Github ActionsでAWSのVPC越えしたい。 - KAYAC Engineers' Blog
この記事はTech KAYAC Advent Calendar 2023の8日目の記事です。 こんにちわ。その他事業部SREチームの@mashiikeです。 最近、風変わりな記事を連投しているのですが、今回も風変わりです。 ひとことで要約すると、 私は！Github Actionsから！Redshiftにアクセスしたいんだ！！！ です。 TL;DR dbtのCIを実現したい。ローカルのunit-testはできてるんだが、Github ActionsからRedshiftへのアクセスに難がある。 Github ActionsからRedshiftにアクセスするために頑張ってみた。 kayac/ecspressoで踏み台となるECS Taskを立ち上げる。 fujiwara/ecstaでportforwardingする。 mashiike/redshift-credentials で一時認証情報を
GKE 互換のオンプレコンテナ基盤 AKE (Adtech Container Engine) アーキテクチャ完全公開！ | CyberAgent Developers Blog
GKE 互換のオンプレコンテナ基盤 AKE (Adtech Container Engine) 誕生秘話とアーキテクチャ完全公開！ こんにちは。 アドテクスタジオの Central Infrastructure Agency（CIA） の青山真也です。 本記事は CyberAgent Developers Advent Calendar 2017 の 1 日目の記事となります。 CIA は 15 名程のアドテクスタジオの横軸インフラ組織として、プライベートクラウドの提供や、プライベート/パブリック両方のインフラサポートを行っています。 ちなみにこの Advent Calendar に CIA は 6 名参加（実に 1/4！）してますので、インフラに興味がある方は是非他の記事も読んでみて下さい。 最近ではアドテクスタジオでも、コンテナによる開発が主流となってきており、GKE で開発することが
[初心者向け] GitHub ActionsからECS FargateにCI/CDしてみた | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 本記事はGitHub Actions Advent Calendar 2021の20日目の記事です。 投稿が遅くなってしまい申し訳ございません！ GitHub ActionsからECSへ簡単にCI/CDできると聞いたので試してみました。 いくつか参考ブログはあったのですが、ワークフローのテンプレートが古くなっていたりしたので改めてブログにまとめてみました。 前提 以下の環境を構築している必要があります。 DockerイメージレジストリにECRを使用 ECSでコンテナを起動中 GitHub Actionsワークフローについて 今回はGitHub ActionsのDeploy to Amazon ECSというテンプレートからワークフローを作成します。 テンプレートの大まかな内容は以下の通りです。 ECRにログイン Dock
![[初心者向け] GitHub ActionsからECS FargateにCI/CDしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d1762eaf81b2855f2648b259156f5cb9c7592542/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F07%2Fgithub-eyecatch.png)
この記事には間違いが含まれている可能性があります。もし、間違いやより良い方法があればコメントで教えて下さい🙏🏻 2024/08/01 追記 Server Componentのエラーに関しては詳細が取れないのですが、最近Next.js側で onRequestError という拡張がされています。まだ未リリースですがおそらくv15には入るはず。これがあればSentryですべてのエラー詳細を取れるようになる…気がします。 https://github.com/vercel/next.js/pull/67539 Next.js AppRouterのエラートラッキングで悩む 前提条件 Next.js v14.1 App Router セリフホスティング（AWS ECS） 僕が調べた限りでは現状（2024/02/20）では、Next.js AppRouterのすべてのエラーやリクエストログを、自由
「え？？？FargateにSpot？何言ってるかわからない」 Fargate Spot、いきなりでましたね。AWSで言うところの「Spot」は通常Spotインスタンス（=EC2）のことを表現するので、ホストインスタンスを持たないFargateにSpotと聞いて私も意味がわかりませんでした。弊社ブログでも既に速報が挙がっています。 【最大70%引きで使用可能、東京でも利用可能】AWS Fargate Spotがリリースされました。#reInvent ｜ Developers.IO [新機能] AWS FargateにSpotキャパシティプロバイダが追加されたので試してみた ｜ Developers.IO この記事では、Fargate Spotを使う上で必ず理解しておくべき上位概念のCapacity providerの解説と、利用上の各種注意事項をまとめます。はっきり言ってかなり複雑なので覚悟
Packages by categoryCategories: (4), "Distributed Computing" (1), - (1), .NET (9), Accelerate (27), Accessibility (4), ACME (55), Actors (2), Adjunctions (2), ADSB (5), Aerospace (12), Aeson (4), Agda (1), AI (81), Algebra (62), Algebra Uniform (1), Algorithm (9), Algorithm Visualization (2), Algorithmic Music Composition (1), Algorithms (140), Amazon (1), Amqp (1), Anatomy (1), Animation (6), AN
TL;DR ついに kubectl exec 的な機能がECS にもきた https://docs.aws.amazon.com/AmazonECS/latest/developerguide/ecs-exec.html 既存のコンテナに新しくなにかをインストールする必要はなく、SSM 経由でつかえる やる チュートリアルのとおりにやる。 https://docs.aws.amazon.com/AmazonECS/latest/developerguide/ecs-exec.html タスク用IAMロール作成 SSM 経由でECS へコマンドを実行するため、その権限用のIAM ロールを作成。 名前は ecsTaskRole にし、Principalは "Service": "ecs-tasks.amazonaws.com" 。 インラインポリシーで以下を定義。 { "Version": "
おはげようございます。来年の re:Invent は現地で...という目標を胸に英語の勉強を始めたいかっぱです。 tl;dr re:Invent での発表にて ECS 専用のコマンドラインツールが利用出来るようになったとのことでザクっと試してみたい。 aws.typepad.com 尚、このコマンドラインツールは Docker Compose をサポートしているので Docker Compose で利用する YAML ファイルが直接利用出来るようになっている。（従来は ECS の Task Definition と YAML ファイルの相互変換ツールを利用する方法があった） 参考 docs.aws.amazon.com github.com 試す 試した環境 % sw_vers ProductName: Mac OS X ProductVersion: 10.11.1 BuildVersi
はじめに この記事はFindy Advent Calendar 2024 21日目の記事です。 adventar.org データソリューションチーム、エンジニアの土屋(@shunsock)です。本日は、Findy Toolsのデータ基盤を構築したので、その内容を共有します。 Findy Toolsは、2024年1月23日にリリースされた開発ツールのレビューサイトです。利用者は開発者向けツールのレビューやアーキテクチャの記事を閲覧、投稿できます。 Findy Toolsのデータ基盤のシステム設計の紹介 システム設計の目標、要件 今回の構築では、「Findy Toolsを訪れたユーザーの行動ログとデモグラフィックデータを組み合わせて分析可能にする」という目標がありました。Findy Toolsではユーザーの行動ログにユーザーidやリファラーを保存しています。また、ユーザー情報をはじめとしたデー
【祝！】FargateでもECSにごっつ簡単に環境変数に機密情報を渡せるようになりました！ ｜ DevelopersIO
Fargateでも非常に簡単に環境変数に対して機密情報を渡すことが可能になりました。どんどん活用していきましょう。 先日、ECSに超嬉しいアップデートがあり、ハマコー感激していたわけですが、悲しいことに発表時はFargateには対応しておりませんでした。 ECSでごっつ簡単に機密情報を環境変数に展開できるようになりました！ ｜ DevelopersIO (´・ω・｀)ｼｮﾎﾞｰﾝとした日々を過ごしていた矢先、いきなりFargateに対応したというニュースが飛び込んできました！！ AWS Fargate Platform Version 1.3 Adds Secrets Support なんなんですかね、このAWSの身軽さ。びっくりしますわ。最高やん。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 Fargateｲｷﾅﾘｱｯﾌﾟﾃﾞｰﾄ ﾜｯｼｮｲ |_|＿| し'´Ｊ
AWS X-Rayによる分散アプリケーション分析をFargateで試してみた #Fargate | DevelopersIO
こんにちは、コカコーラ大好きカジです。 AWS X-RayをFargate上でどのように動かすか不明だったため、調べてみたところ、以下の資料が見つかったので、東京リージョンで構築して試してみました。 構築時のコマンドの実行結果も貼っています。 GitHub - aws-samples/aws-xray-fargate: Code examples showing how to run AWS X-Ray as a sidecar container on Fargate for deep application insights. AWS X-Rayによる分散アプリケーション分析（分散トレーシング）とは マイクロサービスが増え、パフォーマンス状況やデバッグが煩雑になっており、サービス間の相互作用やそれぞれの待機時間を把握するのは面倒な問題です。 そんな問題を解決するのが、AWS X-Ray
Running AWS Fargate with virtual-kubelet | Amazon Web Services
AWS Open Source Blog Running AWS Fargate with virtual-kubelet 中文版 AWS Fargate is a new compute engine that allows you to run containers without having to provision, manage, or scale servers. Today, Fargate is natively integrated with Amazon Elastic Container Service (ECS). Since we announced Fargate at re:Invent 2017, many customers have told us that they were very interested in using Fargate to r
There will be cases like the serverless compute engine ECS Fargate, Google Cloud Run, etc., where some of these pieces are out of our control, so we work on a shared responsibility model. The provider is responsible for keeping the base pieces working and secured And you can focus on the upper layers. Prevention: 8 steps for shift left security Before your application inside a container is execute
シェルからのSQL実行をAmazon ECSを使ってサーバーレスに実現してみる - 虎の穴開発室ブログ
こんにちは。虎の穴ラボの鷺山です。 この記事は「虎の穴ラボ 夏のアドベントカレンダー」の3日目の記事です。 2日目は植竹さんによる「GCPの監視機能 Monitoring の推しポイント紹介」が投稿されました。 4日目はH.Y.さんによる「Amazon WorkSpacesで色々試してみる。」が投稿されます。こちらもぜひご覧ください。 はじめに データベースを運用していると、「挿入・変更・削除などのちょっとしたデータ操作を、シェルスクリプトの中にSQLを書いて実行」したりすることはあると思います。 今回はそのような処理をAmazon ECSのタスク実行を使ってサーバーレスに実現する方法をご紹介したいと思います。 コンテナの起動にAWS Lambdaも使用します。 環境 データベース: MySQL 5.7 (Aurora 2.10.2) この記事の付録にPostgreSQLでの方法もご紹介し
こんにちは。READYFOR 株式会社で SRE として働いている ジェダイ・パンくず🚀 と申します。 突然ですが、皆さんの現場ではインフラのテストの仕組みは導入済みですか？我々はまだ出来ていません(笑)。 READYFOR では IaaS として AWS を、IaC として Terraform を導入しているのですがコードのテスト・コードによってデプロイされた状態のテストを何かしらの仕組みを使って実践したいなぁと考え、今調査している最中です。 今回は Terraform のテストを書くツール Terratest について調べた内容を皆さんに共有したいと思っています。また AWS の状態をテストする仕組みとしてよく知られている Awspec との比較も行っていきたいと思っています。 必要になるモノ 事前に必要になるソフトウェアの一覧です。 Golang (requires version
ECS Fargate の ARM64 版は長らくスポットが使えませんでしたが、ようやくやってきました。 利用するにあたって、いくつかポイントと注意点があるので、ザックリと把握しつつ自分用にどう構成するかを考えていく感じになると思います。 はじめに リリースや価格についてはこちらにまとまっています。 [アップデート] Fargate Spot で AWS Graviton ベースのコンピューティングがサポートされました | DevelopersIO 東京だとオンデマンドに比べて 62% OFF くらいです。前は Blue/Green の場合にスポットを利用できませんでしたが、今は解消されドキュメントからもその記述は消えています。 落ちやすさはまだわかりませんが、EC2 の例だと X86 より ARM64 の方が安定している雰囲気があるので、Fargate においても速い・安い・安定を期待で
Amazon Web Services ブログ Amazon ECSイベントストリームで、クラスタの状態を監視 今までは、実行中のAmazon ECSクラスタの状態の更新を取得するためには、AWS CLIやSDKを使ってコンテナインスタンスとタスクの状態を定期的にポーリングする必要がありました。新しいAmazon ECSイベントストリーム機能によって、これからはAmazon ECSのタスクとコンテナインスタンスの状態更新を準リアルタイムにイベント駆動で受け取ることが可能になりました。イベントはAmazon CloudWatch Eventsを通して配送され、AWS Lambda関数やAmazon SNSトピックといった、あらゆるCloudWatch Eventsのターゲットに向けることができます。 この記事では、簡単なサーバレスアーキテクチャを作って、イベントストリームの更新を受け取り、処
はじめに 改めて terraform を勉強したいと思ってドキュメントを見ていたら、扱えるリソースとして ECS もサポートしているようなのでひとまず試してみる。 www.terraform.io 尚、利用する terraform のバージョンは以下の通り。 % terraform -version Terraform v0.6.1 改めて ECS とは 黒帯目指して AWS Blackbelt 2015シリーズ Amazon EC2 Container Service (Amazon ECS) from Amazon Web Services Japan www.slideshare.net 上記の資料がとても詳しいのでウンチクは割愛。 terraform で ECS terraform のバージョン 今回利用する terraform のバージョンは以下の通り。 % terraform
Amazon Lightsail Container を Mackerel で監視する - 酒日記 はてな支店
Mackerel Advent Calendar 2020 8日目の参加記事です。 2020年11月に、Amazon Lightsail Container というサービスがリリースされました。 dev.classmethod.jp 最低月額 $7 で、コンテナを気軽に(ロードバランサー込みで！) Amazon Lightsail 上にデプロイできるというものです。普通に AWS で Fargate のコンテナとロードバランサー(ALB)を動かすと最低でも$25/月程度はかかってしまうので、これはお手軽でよさそうですよね。 ということで、この Lightsail Container を Mackerel で監視してみましょう。 Lightsail Container の実体は? なにはともあれ、Ligtsail Container に環境変数を出力する Web アプリケーションをデプロイし
【祝！】ECSへの機密情報受け渡しがCloudFormationに対応しました！ | DevelopersIO
今まで、ECS関連リソースをCloudFormationだけで定義するのは難しかったんですが、今回のアップデートで機密情報受け渡しにCloudFormationが対応しました！ 先日、みんな大好きCloudFormationに、ECSタスク定義において待望のアップデートがやってきました！ Release History - AWS CloudFormation 端的にいうと、ECSのタスク定義で機密情報をSecrets ManagerやParameter Storeをキー指定で取得する方法が、今まではJSONやWebコンソールのみ設定可能だったのが、CloudFormationでも設定可能となったというものです。 AWS::ECS::TaskDefinition In the ContainerDefinition property type, use the ResourceRequir
自己紹介 はじめまして、ENECHANGEの@rubita_isi です。 普段はWEBアプリケーションのバックエンドやインフラの開発や運用を担当しています。 この記事では、AWS上に構築された膨大なWEBアプリケーションをElasticBeanstalkからECSに移行する際に、 監視をTerraform Moduleで標準化した件について、その背景や具体的な内容についてお話しします。 ECS移行について ElasticBeanstalkからECSへの移行 ENECHANGEでは、WEBアプリケーションをAWSのElasticBeanstalkで運用していました。 しかし、ElasticBeanstalkを利用する場合、ホストOSやアプリケーション言語のバージョンが頻繁にサポート終了を迎え、その度に対応が必要でした。 また、ebextensionやplatform hookの仕組み・仕様
Announcing Amazon ECS deployment circuit breaker | Amazon Web Services
Containers Announcing Amazon ECS deployment circuit breaker Today, we announced the Amazon ECS deployment circuit breaker for EC2 and Fargate compute types. With this feature, Amazon ECS customers can now automatically roll back unhealthy service deployments without the need for manual intervention. This empowers customers to quickly discover failed deployments, while not having to worry about res
2021/3/16 ついにecsのfargateにもaws cli経由でdocker exec的なことができるようになったそうです。 実際に僕もfargateのecsクラスタでためしてみましたが、 タスクroleに権限追加したのと、platform-veresionを1.4.0に、さらに、ドキュメンにあるとおりの追加のオプションをつけるだけでローカルのmacからecsのコンテナに入ることができました。 こちらのほうがだいぶ使いやすそうなので、これからはこちらがおすすめだと思います。 https://aws.amazon.com/jp/about-aws/whats-new/2021/03/amazon-ecs-now-allows-you-to-execute-commands-in-a-container-running-on-amazon-ec2-or-aws-fargate/ 一点ハ
![[AWS ECS]Fargateのcontainerにシェルで入りたい(sshd無しで！) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0c64050f2102a71eff054d87e8d1720b2fdeab48/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTIwRUNTJTVERmFyZ2F0ZSVFMyU4MSVBRWNvbnRhaW5lciVFMyU4MSVBQiVFMyU4MiVCNyVFMyU4MiVBNyVFMyU4MyVBQiVFMyU4MSVBNyVFNSU4NSVBNSVFMyU4MiU4QSVFMyU4MSU5RiVFMyU4MSU4NCUyOHNzaGQlRTclODQlQTElRTMlODElOTclRTMlODElQTclRUYlQkMlODElMjkmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWIxM2FhMjg5YzQzMWJlOWY0ZDFlM2ViMDljZjU4MDQ5%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBwb2NhcmkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTMzNGJkYzVmOTA0NzA2N2QyMWZhNDBkOGEwODA4M2Fl%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g44GX44GP44G_6KO95L2c5omA5qCq5byP5Lya56S-%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25231E2121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D31f8657dbf139c9f6398fdcda52ee2a6)
「AWS CDK Conference Japan」は AWS CDK ユーザーが集まって事例やノウハウを共有しあうイベントです。今回は、CDKv2をメインテーマに、初の大型カンファレンスが開催されました。ここで登壇したのは、NTTテクノクロス株式会社の渡邉洋平氏。「AWS Solutions Constructs」を使ったシステム作成について発表しました。 自己紹介と本日のアジェンダ 渡邉洋平氏（以下、渡邉）：「AWS Solutions Constructsで楽してシステム作りたいよ〜！」という話をします。よろしくお願いします。最初に今日のアジェンダです。まずは「AWS Solutions Constructsって何？ を調べてみました」。商用でも、実践的な知見ではないことは予めご了承ください。次に「Solutions Constructs×CDK v2で×記述の抽象化・省力化をどこま
Amazon ECS deployment circuit breaker のご紹介 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS deployment circuit breaker のご紹介 ※日本語字幕の表示には、設定 → 字幕 → 自動翻訳 → 日本語をご選択ください EC2 および Fargate コンピュートタイプ用の Amazon ECS deployment circuit breaker をパブリックプレビューで発表しました。この機能により、Amazon ECS をご利用のお客様は、手動での作業を行うことなく、不健全なサービスデプロイを自動的にロールバックできるようになります。これにより、お客様は失敗したデプロイを迅速に発見できるようになり、失敗したタスクのためにリソースが消費されたり、デプロイが無期限に遅延したりすることを心配する必要がなくなります。 以前は、Amazon ECS でデプロイメントタイプにローリングアップデートを使
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 JJUG CCC Fall 2018の資料のまとめです。現在編集中 タイムテーブルは下記 https://docs.google.com/spreadsheets/d/1cyNPjk8doq26FgjhLVwA0Pw2grGFwxqo4yVXqJgQCTE/edit#gid=413114967 A + B ツール比較しながら語るO/RマッパーとDBマイグレーションの実際のところ (渡辺 祐(@nabedge)さん) #ccc_a1 https://www.slideshare.net/nabedge/ordb モジュールグラフが作
DatadogでAPI毎のSQL発行数を可視化してN+1を改善！ - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、スマートホーム化にハマっていていろいろと買い漁っています🛒 N+1問題を検知するのって結構大変ですよね？ 今回はDatadogを使ってN+1問題を可視化し、パフォーマンス改善につなげた話を紹介したいと思います。 ※ 2024/05/29に開催されたJapan Datadog User Group Meetup#4 でもLTしてきました🎤 speakerdeck.com N+1問題とは？ N+1問題は主にデータベースへのクエリーを扱う際に出くわすパフォーマンス上の問題です。1つのクエリーでN件のデータを取得した後にそれぞれのデータに対して追加でクエリーが発行されることでパフォーマンスを大幅に低下させます。（1 + N問題と呼んだ方がしっくりくる気がしますが...🤫） 背景 この取り組みを始めた経緯は、システムへのリクエスト
ECSタスク定義をコンソールから作って後悔した後、コード管理するため最速でJSON登録可能にする超愚直な方法 | DevelopersIO
ECSタスク定義をコンソールから作って後悔した後、コード管理するため最速でJSON登録可能にする超愚直な方法 ECSのタスク定義、マネジメントコンソールから登録するの最初はわかりやすいんです。ただ、項目が増えてくるとJSONで管理したくなります。そんなあなたの気持ちに寄り添う記事です。 いつもこってりしたリード文を書く自分ですが、今日はもう、全部タイトルに書いた。 小ネタなのにタイトル長くない？! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / せやな。 ECSのタスク定義登録は項目が多くて大変 ECSのタスク定義は、長年のECSの機能拡張に伴い設定可能な項目が非常に多くなっています。そんな複雑なタスク定義ですが、登録方法は大きく分けて3つあります。 マネジメントコンソールから登録 タスク定義のJSONを作成し、AWS CLIからregister-task-def
山本隆の開発日誌
cdk deployを実行した際に、サービスリンクロールのエラーが発生しました。 Resource handler returned message: “Invalid request provided: CreateCluster Invalid Request: Unable to assume the service linked role.”。 このエラーは、AWS ECSクラスターの作成時にサービスリンクロールを引き受けることができなかったことが原因です。 具体的には、サービスリンクロール (Service-Linked Role) が存在しないため、クラスターの作成に失敗しています。 Amazon ECS のサービスリンクロールの使用 – Amazon Elastic Container Serviceによると、 ほとんどの場合、サービスにリンクされたロールを手動で作成する必要
LancersをAmazon Linux2へログ基盤のリニューアルと管理画面をECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
Lancers Engineer Blog をご覧のみなさんこんにちは。開発部/技術基盤 SREの安達(@adachin0817)です。最近埼玉で激安マンションを購入しまして、快適な環境でバシバシとフルリモートワークを行っております。今年の目標はより健康的に、ジョギングは毎週続いているので筋トレを取り入れたいと思っております。 さて、ようやくLancers本家の各サーバーをAmazon Linux2化、管理画面をECS/Fargate化、ログ基盤リニューアルを半年で実現できまして、一旦落ち着くことができました。苦労したところなど振り返ってみようと思います。 ※去年12月に以下今期SREチームの取り組みについて書きましたが、見ていない方はぜひ一読してもらえると幸いです。 ・今期SREチームの取り組みについて Lancers本体をAmazon Linux2化するにあたって ・2018年 ランサ
SREチームの長田です。 Advent Calendar Migration Track 22日目の記事です。 今回は弊社で運用しているLobiというサービスの、Webブラウザ版(Web版)をECSに移行したはなしです。 web.lobi.co なぜ移行したのか おなじみ、Amazon Linux1 EoL対応です。 すべてのアプリケーションをEC2から移行するプロジェクトの一環です。 移行前 LobiのWeb版はNuxtJSを使って実装されています *1。 各APIにリクエストし、サーバーサイドレンダリング(SSR)した結果を、Webブラウザに返しています。 NuxtJSアプリは他のアプリケーションも同居するEC2インスタンスで実行していました。 移行前の構成 (実際にはクライアントで動的にコンテンツを更新するためのAPIリクエストも発生しますが、今回の話題には関わってこないので省略して
バッチ resource "aws_sfn_state_machine" "xxx" { name = "xxx" role_arn = aws_iam_role.state_machine.arn definition = jsonencode({ StartAt = "Run ECS Task", States = { "Run ECS Task" = { Type = "Task" Resource = "arn:aws:states:::ecs:runTask.sync" Parameters = { LaunchType = "FARGATE" EnableExecuteCommand = true NetworkConfiguration = { ... } Cluster = ... TaskDefinition = ... Overrides = { ContainerOv
[AWS Black Belt Online Seminar] Amazon EC2 Auto Scaling and AWS Auto Scaling 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon EC2 Auto Scaling and AWS Auto Scaling 資料及び QA 公開 先日 (2019/10/2) 開催しました AWS Black Belt Online Seminar「 Amazon EC2 Auto Scaling and AWS Auto Scaling 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20191002 AWS Black Belt Online Seminar Amazon EC2 Auto Scaling and AWS Auto Scaling AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. ミックスインスタンスは ECS のオート
![[AWS Black Belt Online Seminar] Amazon EC2 Auto Scaling and AWS Auto Scaling 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/de36198b79e699fd2ef22aa354fbfd7b417ace08/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2019%2F10%2F16%2FThumbnail-1-1125x630.png)
Scala関西 Summit 2017 で公開されました資料の一覧ですー。 ※Twitterで拾えた分だけですので、他にもありましたら、追記したいので教えていただけると嬉しいですー。 セプテーニ・オリジナルホール Non-Functional Programming in Scala - 竹添 直樹 Scala and Akka apps on Kubernetes in ChatWork - 林 大介(hayasshi) 実践ScalaでDDD - 辻 陽平 ストリーム処理ことはじめ ～ Akka Streams - にしかわささき Not Found グラフを知って理解するAkka Stream - kamijin_fanta Reladomo in Scala - 伊藤博志/瀬良和弘 「Scale with Scala」の道程 - 松坂 高嗣 Not Found Scala on
AWS ECSを構成する3つの概念（Cluster, Service, Task） - keroxpのScrapbox
Dockerのおかげでアプリケーションのポータビリティが上がったはずなのに、なぜ即デプロイできないのか？
【セッションレポート】 ソフトウェア開発者のためのAWS環境構築フレームワーク AWS Cloud Development Kit (CDK) 【#AWSDevDay】 | DevelopersIO
【セッションレポート】 ソフトウェア開発者のためのAWS環境構築フレームワーク AWS Cloud Development Kit (CDK) 【#AWSDevDay】 セッション概要 PythonやTypeScriptなどのプログラミング言語でAWSの構成を記述・構築できるAWS CDKの仕組みや使い方、コーディング、テスト、CloudFormationとの違いについてDeepDiveしていく。 登壇者 大村 幸敬 様（アマゾン ウェブ サービス ジャパン株式会社） AWSの環境を構築する方法 AWSの環境を構築するには様々な方法がある。 下記に手法とメリットデメリットを記述する。 マネジメントコンソール pros 始めるのが簡単 cons 人間が操作を行う 繰り返しが可能ではない ヒューマンエラーが起きやすい 時間がかかりやすい スクリプト（SDK、CLI） pros APIが公開され
Solrのクラウド移行 -AWS ECS Fargateの事例- - LIVESENSE ENGINEER BLOG
はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移行自体を最優先とするため、スコープを以下に定めていました。 Apache Solrから他の検索エンジンへは乗り換えない アプリケーション側の改修は向き先の変更だけに留める Apache Solr自体のバージョンUP対応はしない 運用負荷を軽減できる形の構成変更を加える 移行スピードと移行後の運用コストとの天秤 新たに運用しないといけなくなるコンポーネントはなるべく増やさない モニタリングや監視の精度はなるべく落とさない 上記を踏まえ、以降の節ではApache Solrのサービス内利用箇所の紹介から始め、 インフラ構成・デプロイ・モニ
初夏の訪れとともに, terraform-github-actionsがsetup-terraformに変わりましたがいかがお過ごしでしょうか. ActionsでTerraformをデプロイする方法がより便利になったので今回は, setup-terraformを利用したワークフローを定義して, AWSにデプロイしたいとおもいます. Difference between terraform-github-actions and setup-terraform まずは従来利用していたterraform-github-actionsとsetup-terraformの違いについて記載していきます. 大まかに言えば, 下記が相違点になります. terraform-github-actionsは実行するコマンドまでActionsで提供していた setup-terraformはCIを実行するコンテナでの
こんにちは。 メディアサービス開発部、Webアプリケーション開発課のフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 本記事では、2022年の9月8日から9月10日にかけて三重県津市で開催された、RubyKaigi 2022に現地参加したことについてお話しします1。 RubyKaigiとは 実に3年ぶりの物理開催 見に行った講演の感想など Ruby meets WebAssembly Making ＊MaNy＊ threads on Ruby Building a Lightweight IR and Backend for YJIT Towards Ruby 4 JIT Ruby debugger - The best investment for y
AWS Security Hubで[Config.1]の重要度がCriticalに変更され、新たに追加された「コントロール失敗理由」を確認し是正してみた | DevelopersIO
AWS Security Hubで[Config.1]の重要度がCriticalに変更され、新たに追加された「コントロール失敗理由」を確認し是正してみた はじめに 今月、AWS Security Hubのコントロール[Config.1]の重要度がMEDIUMからCRITICALに引き上げられました。 さらに、Config.1の失敗検出結果に新たにステータスコード（Reason code）とステータス理由（Description）が追加されました。 AWS Configやリソース記録が無効になっている場合、不正確なコントロール検出結果を受け取る可能性があります。そのため、是正しましょう。 Config.1 checks whether AWS Config is enabled, uses the service-linked role, and records resources for
![AWS Security Hubで[Config.1]の重要度がCriticalに変更され、新たに追加された「コントロール失敗理由」を確認し是正してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad9624ef3c3eec726d644036ee7ce06f3a9792ac/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-e71a738589e583b65670923628e8b6f4%2F45568b9fd457506bd2f3d6fd304d4b6a%2Faws-security-hub)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Next.js AppRouterのエラートラッキング・ロギング手法で悩む
Fargate Spotとはなにか？全9項目で説明する #reinvent ｜ Developers.IO
packages by category | Hackage
ECS Fargate でshell を起動する - y-ohgi's blog
ecs-cli チュートリアル - ようへいの日々精進XP
Findy Toolsのデータ基盤を1ヶ月前倒しで新規構築した話 - Findy Tech Blog
Container security best practices: Comprehensive guide
Terraform のテストを Golang で書く！ - READYFOR Tech Blog
AWS ECS ARM64 FARGATE_SPOT 利用上のポイント | 外道父の匠
Amazon ECSイベントストリームで、クラスタの状態を監視 | Amazon Web Services
terraform で Amazon ECS 環境を弄る - ようへいの日々精進XP
ECSプロダクトの監視をTerraform Moduleで標準化
[AWS ECS]Fargateのcontainerにシェルで入りたい(sshd無しで！) - Qiita
AWS Solutions Constructsでシステム作成は楽になるのか？ 実装・設計・非機能設計から見る、活用のメリット
JJUG CCC Fall 2018 資料まとめ - Qiita
NuxtJS製のWebサービスをECSに移行したはなし - KAYAC Engineers' Blog
Poolにおける足を止めないシステム基盤構築
Scala関西 Summit 2017で公開された資料へのリンク集 - Qiita
GitHub Actionsでsetup-terraformを試す | DevelopersIO
RubyKaigi 2022に参加しました - BOOK☆WALKER inside