[アップデート] aws_ecs_task_definition に CI/CD との競合を防ぐ track_latest 引数がリリースされました | DevelopersIO
resource "aws_ecs_task_definition" "main" { family = "track-latest" requires_compatibilities = ["FARGATE"] cpu = "256" memory = "512" network_mode = "awsvpc" execution_role_arn = aws_iam_role.task_exec.arn runtime_platform { cpu_architecture = "X86_64" operating_system_family = "LINUX" } container_definitions = <<TASK_DEFINITION [ { "name": "nginx", "image": "XXXXXXXXXXXX.dkr.ecr.ap-northeast-1.am
![[アップデート] aws_ecs_task_definition に CI/CD との競合を防ぐ track_latest 引数がリリースされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
AWS Fargate now enables Amazon ECS tasks to selectively leverage SOCI
Customers running applications with more than one containers on Amazon Elastic Container Service (ECS) with AWS Fargate can now leverage Seekable OCI (SOCI) to lazily load specific container images within the Amazon ECS task definition. This eliminates the need to generate SOCI indexes for smaller container images within the task definition, while still getting the benefits of SOCI with larger con
こんにちは、アライアンス事業部のきだぱんです。肌寒くなってきて、お鍋が美味しい季節になってきました。「お鍋×冬」の組み合わせも最高！！なのですが、それに負けないくらい「GitLab×AWS」も最高なので、今回はお鍋の話題ではなくAWSでのGitLab活用について見ていきたいと思います。本記事はクラスメソッド DevOps・セキュリティ Advent Calendar 2023とGitLab Advent Calendar 2023の12/11記事になります！ こんにちは、こんばんは。アライアンス事業部のきだぱんです。 今年も残りわずか… 12月に入りました。アドベントカレンダーの季節です！ 本記事はクラスメソッド DevOps・セキュリティ Advent Calendar 2023とGitLab Advent Calendar 2023の12/11記事になります！ - GitLab Adv
Introducing Niantic Studio: The Future of Web-Based XR and 3D Content Creation
Introducing Niantic Studio: The Future of Web-Based XR and 3D Content CreationBuild immersive XR, 3D experiences, and casual web games with the public beta of our new visual editor and powerful web gaming engine—now available for free. Today, we’re excited to announce Niantic Studio, a new visual editor and web gaming engine for Niantic 8th Wall developers that offers an entirely new way to build
AWS FireLensでECSコンテナのログをS3とCloudWatch logsに出力する - NRIネットコムBlog
本記事は 【Advent Calendar 2023】 18日目の記事②です。 🎄 17日目 ▶▶ 18日目記事① ▶▶ 本記事 ▶▶ 19日目 🎅 こんにちは。梅原です。 ECSコンテナのログは通常CloudWatch logsに出力されます。長期保管用としてS3にも出力したいといったこともあると思います。複数サービスへ出力したいときに使うのがログドライバーの1つであるAWS FireLensです。 今回はnginxのログをAWS FireLensを使ってS3とCloudWatch logsにログを出力してみます。 fluent bitのロゴはhttps://github.com/fluent/fluent-bit/blob/master/fluentbit_logo.pngより引用 ECSコンテナのログについて AWS FireLensとは AWS FireLensを使うときの方法
Unity Technologies、データ指向プログラミングをサポートするUnityの新たなアーキテクチャ「DOTS」について解説した電子書籍を無料公開｜ゲームメーカーズ
Unityの「DOTS（Data-Oriented Technology Stack）」について解説する電子書籍を、Unity Technologiesが無料で公開 DOTSは、従来のオブジェクト指向プログラミングから、データ指向プログラミングへと移行するためのアーキテクチャ パフォーマンス低下の要因やそれらを回避する効率的なコードの作成などを解説 Unity Technologiesは、電子書籍『Introduction to the Data-Oriented Technology Stack for advanced Unity developers』を無料で公開しました。 『Introduction to the Data-Oriented Technology Stack for advanced Unity developers』は、全49ページからなるPDF資料です。 本書籍
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた | DevelopersIO
もっと簡単にVPC内のリソースにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんはもっと簡単にVPC内のリソースにアクセスしたいと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスターなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect SSMセッションマネージャーとEC2 Instance Connectについては以下記事をご覧ください。 しかし、上述のいずれのパターンもEC2インスタンスやECS Fargateなどの課金が発生するリソースをプロビジョニングする必要があります。 そんな時に
技術の導入によって「何の課題を解きたいのか」を常に意識する。カミナシCTOはこれまでどんな決断をしてきたか - what we use（技術スタックデータベース）
技術の導入によって「何の課題を解きたいのか」を常に意識する。カミナシCTOはこれまでどんな決断をしてきたか 株式会社カミナシは「ノンデスクワーカーの才能を解き放つ」をミッションに、パソコンやデスクのない現場で働くノンデスクワーカー3,900万人の働き方をITの力でスマートにすることを目指す企業です。同社の提供する現場DXプラットフォーム「カミナシ」は、工場や店舗で行われる現場管理業務をノーコードでアプリにできる現場DXプラットフォーム。製造や飲食、小売など、業界を問わず業務改善や品質向上を実現し、現場のDXに寄与しています。 カミナシの開発組織を牽引するのが、取締役CTOであるHara Toriさん。今回はToriさんに、過去に行った技術的意思決定のなかで印象に残るものを聞きました。 革新的だったコンテナの登場。しかし、採用を見送った――今回のインタビューでは、過去に取り組んだ技術的意思決
「FintechプロダクトのRails開発事情とアーキテクチャ解説」というタイトルで Kaigi on Rails 2023でLTしました。 - inSmartBank
こんにちはスマートバンクでCTOをしております＠yutadayoです。先日行われたKaigi on Rails 2023のスポンサーをさせていただき、LT枠にて「FintechプロダクトのRails開発事情とアーキテクチャ解説」というタイトルで発表をしてきました。 今回はその内容に触れつつ、発表しきれなかった箇所の補足も加えてブログで紹介していきたいと思います。 speakerdeck.com B/43 の rails stats B/43 は2021/4/26にローンチされ、リリースしてから約2.5年経つサービスです。リリース当初からメイン機能のほとんどの機能がRailsで開発され今日に至ります。発表直前のメインで開発しているrepositoryのrails statsを取得してみた結果が下記になります。ちなみにこのRailsはAPIモードで開発されております。 rails stats
GitHub Actions で ECR に Docker イメージをプッシュして ECS にデプロイまで - Qiita
はじめに GitHub Actions で Docker イメージをビルドして ECR にプッシュして ECS にデプロイするまでの手順をまとめます。 ディレクト構成 今回は以下のようなディレクトリ構成で進めます。 aspnetapp 以下には ASP.NET Core のプロジェクトがあります。 . ├── .github │ └── workflows │ └── deploy.yml ├── deploy │ └── ecs-task-def.json ├── aspnetapp │ └── aspnetapp.csproj など └── Dockerfile .github/workflows 以下に yml ファイルを配置します。 これにより、GitHub Actions を定義することができます。 deploy ディレクトリには、ECS タスク定義の JSON ファイルを配置し
CloudFormationがCD Pipelineなしで そのままGit連携デプロイが可能に！ #AWSreInvent | DevelopersIO
CloudFormationがCD Pipelineなしで そのままGit連携デプロイが可能に！ #AWSreInvent ども、re:Invent現地参加組の もこ@札幌オフィス です。 まだ現地ではキーノートが始まっておらず、まだラスベガスにも到着出来ていない現状ですが、ぽろぽろと出てきているアップデートをご紹介していきます！ CloudFormationのStack更新がGitからできるようになった！ このサービス、簡潔にまとめると「CloudFormationのStack deployment fileを元にして良い感じに指定したブランチに更新があったらデプロイするよ！」といったサービスです。 Stack deployment fileを簡単に説明するとCloudFormationのTemplateにおけるパラメータを定義できるモノです。 今回のアップデートであるGitとの同期機能
こんにちは、プロダクト開発部の藤田です。 今回は Amazon ECS(以下、ECS) と AWS Step Functions(以下、Step Functions) を組み合わせた「ワンショットタスクの実行基盤」についてご紹介します。 「ワンショットタスク」とは、指定されたコマンドやスクリプトを1度だけ実行して、終了するタスクのことです。 このようなワンショットタスクは「プライベートネットワークの内側にあるリソースへのアクセスが必要な、非定型的な操作」を実行する際などに用いられます。 例えば、プライベートネットワークの内側にある DB に対して、以下のような作業をエンジニアが実施する際に、ssh を利用して踏み台サーバーに接続して、決められた手順書を実行する・・・といったような場面を想像していただければ、イメージしやすいと思います。 DB にテーブルを追加するための migration
Amazon ECS がデータ集約型ワークロードのための Amazon EBS ボリュームとのネイティブ統合をサポート | Amazon Web Services
Amazon Web Services ブログ Amazon ECS がデータ集約型ワークロードのための Amazon EBS ボリュームとのネイティブ統合をサポート 1月11日は、Amazon Elastic Container Service (Amazon ECS) が Amazon Elastic Block Store (Amazon EBS) との統合のサポートを開始し、より広範なデータ処理ワークロードをより簡単に実行できるようになったことを皆さんにお知らせしたいと思います。AWS Fargate および Amazon Elastic Compute Cloud (Amazon EC2) で実行されている ECS タスクに Amazon EBS ストレージをプロビジョニングでき、ストレージやコンピューティングの管理は必要ありません。 コンテナ化されたパッケージとしてアプリケーシ
How we migrated our PostgreSQL database with 11 seconds downtime – Government Digital Service
GOV.UK Notify is hosted on the GOV.UK Platform as a Service (PaaS). The PaaS is being retired, so we are migrating all of our infrastructure into our own Amazon Web Services (AWS) account. This blog post explains how we migrated our PostgreSQL database with minimal downtime. Migrating our database The PaaS provides a database for us and we use it to store all of our data - from data about each not
あらためて、じっくり動かすFargate
自分でECS/Fargateやその周辺リソースのインフラ構築・整備をしたり、まわりのインフラ強くないチームメンバーがデバッグに苦戦する様子を見ながら、やっぱりECSは登場するリソースがちと多かったり役割分担がとっつきにくかったりするよなぁと思っていました。 漠然とそんなことを思っていた頃、社内で自分の属するグループに勉強会が爆誕し「これはECSの話するしかないのでは」と思い立ち...そのまま2ヶ月ほど経過してしまいました。というわけで社内アドベントカレンダーに登録し、締切駆動執筆することにしました。というわけで この記事は LITALICO Engineers Advent Calendar 2023 の18日目の記事です。 はじめに この記事では、ECS、特にFargateを使ったWebサーバの構築を、基礎からハンズオン的に組み上げていく内容になっています。ECSタスクやタスク定義、サー
今期はプロダクトマネジメントにも挑戦を始めました。その一方で元々のプロジェクト、エンジニア、ピープルマネジメントも引き継ぎつつ実施しています。とあるマネージャーの日々の奮闘の記録として、連発形式でお届けします。 前回の「マネジメントロールになって2年目にやったことn連発 | DevelopersIO」から、この半年くらいでやったことを、また連発形式でご紹介しようと思います。 やったこと(順不同) 1. 開発チームメンバーの責務整理 今は開発チームをいくつかのサブチームにわけている その影響もあり、知識のサイロ化が進むとともに、ベースラインが揃わなくなってきていた ベースラインを揃えるための第一歩として、開発チームメンバーとしての責務を整理してチームに共有した 2. 開発基礎勉強会 整理した開発チームメンバーとしての責務を元に共通的なベースライン(基礎)部分を再整理 そのベースラインについて
OpenTofu正式リリース！GCPやレガシーコード改善も｜Productivity Weekly (2024-01-17号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2024-01-17 単独号です。 今回が第 139 回目です。過去の記事はこちら。 news 📺 OpenTofu Announces General Availability HashiCorp 社のプロダクト Terraform をフォークした OSS、OpenTofu がついに正式リリースされました 🎉 半年前に HashiCorp が Terraform などの主要 OSS プロダ
AWS上での DevOps の基本的な哲学、プラクティス、ツールの理解を学べる【DevOps Engineering on AWS】を受講してみた | DevelopersIO
AWS上での DevOps の基本的な哲学、プラクティス、ツールの理解を学べる【DevOps Engineering on AWS】を受講してみた 皆さんこんにちは、AWS事業本部オペレーション部の清水です。 AWS Certified DevOps Engineer - Professional 認定を取得するべく、「DevOps Engineering on AWS」を受講してきました。以下に、学習した内容や参考ブログをご紹介したいと思います。 本コースの受講をお考え中の方へ、お役に立てば幸いです。 AWS認定トレーニングとは？ 以下のブログに、弊社AWS認定トレーニング講師の平野のほうで執筆した各トレーニングの詳細が記載されています。 私が今回受講したのは、以下の図の赤枠に入るコースになります。 このトレーニングは、先にAWSの開発の基本を学習できるDeveloping on AWS
はじめに こんにちは。AWS事業本部コンサルティング部に所属している和田響です。 この記事では、AWS環境にてクレジットカード業界のセキュリティ基準であるPCI DSS v4.0に準拠するための対応を、AWSの提供するコンプライアンスガイドをもとに考えていきます。 PCI DSS対応の勘所や、AWSサービス理解の一助になれば幸いです。 ソース 本記事は2023年10月9日にAWSから公開されている、Payment Card Industry Data Security Standard (PCI DSS) v4.0 on AWSをもとに、PCI DSSの各要件に必要なAWSでの対応を簡単にまとめていきます。 前提 PCI DSSの各要件について考える前に、 AWS環境でのPCI DSS準拠を考えるために重要な前提を整理します。 共有責任モデル AWSはセキュリティの責任範囲をAWSとお客様
[アップデート] AWS Fargate の ECS タスク内で遅延読み込みするコンテナを指定可能になりました | DevelopersIO
Fargate 上の ECS タスクで遅延読み込みするコンテナを指定できるようになりました！ SOCI について Seekable OCI (SOCI) は、コンテナイメージの遅延読み込みするための技術です。 コンテナイメージを完全にダウンロードしてからコンテナを起動するのではなく、コンテナ起動に必要最低限なインデックスからコンテナを起動し、バックグラウンドで残りのファイルをコンテナ起動後に取得していく技術です。 インデックスを生成する SOCI Snapshotter は OSS で公開されており、 GitHub 上で公開されています。もし興味あればご覧下さい。 何が嬉しいか 今まで、 SOCI による遅延読み込みを行うには、タスク定義内のすべてのコンテナイメージで SOCI インデックスを生成して Amazon ECR にプッシュする必要がありました。そのため、以下のようなコンテナイメ
![[アップデート] AWS Fargate の ECS タスク内で遅延読み込みするコンテナを指定可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f9adae6dd6cf7867dd3fca096bafb93dc22af94/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-fargate.png)
第1回 AWSコスト削減天下一武道会
05:52 オープニング 07:47 100社のコスト診断から見えてきた、コスト削減の王道とケモノ道 | 株式会社DELTA 丹さん 37:20 節約は技術！削減は芸術！何より必要なものは覚悟！ | 株式会社SODA Hayashiさん 01:08:15 パネルディスカッション: コスト削減への継続的アプローチ、取り組み方について | 西谷、丹さん、Hayashiさん 01:41:31 会場スポンサー: 株式会社タイミー 01:45:45 AWSコストを全体で43.75%削減するためのコストモニタリング技術 | 株式会社ユーザベース 安藤 裕紀 01:51:23 大規模通信制御信号ETLシステムにおける大幅なコスト削減・意識改革の取り組み | 株式会社NTTドコモ 小澤 遼 01:57:17 クラウド利用料を半額にするために取り組んだ10+のコト | atama plus株
【開催レポート】SREバトル！ 〜Mackerel Meetup #15 Tokyoでパネルディスカッションが開かれました！ - Mackerel お知らせ #mackerelio
こんにちは、Mackerel CREチームの id:kmuto です。 先日のMackerel Meetup #15 Tokyoの開催レポートはいかがでしたか？ mackerel.io 今回は、その中でも当日大いに熱量を高めていた、豪華SRE陣によるパネルディスカッションを、書き起こしスタイルでご紹介いたします。ぜひお楽しみください！ モデレーターとパネリストのご紹介 アラートが来たときはどういうアプローチをしたらいいの？ SREを立ち上げるにあたって会社の理解を得るには？ エラーバジェットが余っていたらどうする？ バッチシステムでのSLI/SLO運用は？ SLOドキュメントの作成を進めるには？ おわりに モデレーターとパネリストのご紹介 モデレーター、パネリストは以下の方々でした。 モデレーター Have Fun Tech LLC 代表社員 曽根 壮大 氏（@soudai1025）［以降
Inspector のコンテナイメージスキャンを CodeBuild で実行してみた #AWSreInvent | DevelopersIO
Inspector v2 イメージスキャンの CI/CD 対応を記念して、 CodeBuild 上で動かしてみました！ こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。 re:Invent 2023 にて、 Amazon Inspector が CI/CD 内で実行可能になりました。 そこで今回は、 CodeBuild のビルド処理中に、 Inspector のコンテナイメージスキャンを試してみようと思います。 やってみる前に まず、今回発表された Inspector の脆弱性スキャンは、従来提供されているようなコンテナイメージに対して直接スキャンするのではなく、 SBOM（ソフトウェア部品表）ファイルに対して、脆弱性スキャンをかけるような仕組みになります。そのため、脆弱性スキャンを実行する前に SBOM Generator で SBOM ファイルの
NetBox のオンプレから Amazon ECS 移植を CDK で実現する - NTT Communications Engineers' Blog
チームの管理情報を溜めていたオンプレ基盤で動く NetBox を Amazon Elastic Container Service へ AWS Cloud Development Kit を用いて移植しました。 今まで NetBox をオンプレで動かしていた際には以下のような運用の難しさがありました。 DB も Docker コンテナによって管理されており、冗長化もなかったため DB コンテナが落ちてしまうとサービス提供できなくなる可能性があった Docker Compose で動かしているので、サービスの作り直しを実施するとそれまでのログが削除される そもそも NetBox を動かしている場所で法定停電があり、定期的に NetBox のサービスがとまっていた NetBox を AWS へともっていくことでオンプレ運用時に発生していた手間を簡素化し、メンテナンス等も一部 AWS にマネージ
本記事は 執筆デビューWeek 10日目の記事です。 ✨ 9日目 ▶▶ 本記事 ▶▶ 11日目 🔰 初めに MVCとREST APIの違い ビュー層の構成 認証・認可アーキテクチャ サービス構成 REST API+SPA構成のメリット/デメリット MVC構成のメリット/デメリット 総括 最後に 初めに 初めまして。9月にキャリア入社した芳賀と申します。前職ではオンプレミス環境+MVC構成のWebアプリのエンジニアをしておりました。現在はAmazon ECS+REST API（Spring Boot）+SPA構成のバックエンドエンジニアをしており、入社前後でアーキテクチャ構成がかなり変わって四苦八苦しております(笑) そこで、2か月間の経験をもとにMVC/REST APIの差で困ったポイントをまとめてみました。今後アーキテクチャ変更に取り組まれようとしている方の一助になればと思います。 M
【悲報】AWS認定全冠(12冠)になったけど、Japan AWS All Certifications Engineersにはどうやら選ばれないみたい。｜OPTEMO エンジニアブログ
【悲報】AWS認定全冠(12冠)になったけど、Japan AWS All Certifications Engineersにはどうやら選ばれないみたい。 こんにちは、すずきです。 2023年2月に受け始めたMLSから7ヶ月、ようやくAWS認定全冠を達成しました。 ポケモンジムバッジ感どう考えてもオーバーワークだろ…みたいな学習ブログ(参考書を2, 3冊読んでから問題集を解きましょう、Black Beltの動画をできるだけみておきましょう、など)を信じず、問題集中心に勉強を進めた結果、効率よく全冠を達成できました。 私の経歴エンジニア歴4年目。AI研究とインフラ再設計・構築を主に担当しており、アプリケーション開発(フロントエンド、バックエンド)もたまに行っています。 今の会社で働いてちょうど1年くらいになるのですが、前職までは主にモバイルアプリの開発をやっていました。 SQSやS3などの一部
こんにちは！サーバーサイドエンジニアのkurisuです。 2024年06月に、B/43あとばらいチャージの裏側でサービス提供していただいている事業者の移行を行いました。その際、返済データのリコンサイルバッチの設計と実装を担当しました。 外部サービスとのデータ連携における不整合は、多くのシステムで避けられない問題です。 本記事では、B/43のあとばらいチャージ機能での事例をもとに、リコンサイルの重要性と実装時の検討ポイントをご紹介します。 リコンサイルとは 外部サービス連携における課題と不整合の要因 1. 自社から外部サービスへの通信エラー 2. Webhook通知の不達や遅延 外部サービスにおけるリコンサイルができる条件 リコンサイルバッチの実装時の検討ポイント 前提 1. 外部サービスとのデータの不整合箇所の洗い出し 2. データ量と処理時間/実行頻度 3. 不整合検知時の対応 4. エ
AWS Lambdaの9年間を振り返る
この記事はAWS Lambda と Serverless Advent Calendar 2023シリーズ1、24日目の記事です。 今回はポエムに近いです。 テクニカルなことは出てきますが、過去のものだったりするので、注意です。 AWSJのSAの下川さんが素晴らしい記事を書かれているので、こちらもご覧ください AWS Lambdaについて 登場は、AWS re:Invent 2014でした。 動画もあります。 詳しくは公式サイトを参照してください！っていうのも寂しいので、 せっかくなので、Amazon BedrockのClaud v2.1に聞いてみました。 AWS Lambdaは、サーバーのプロビジョニングや管理が不要なサーバーレスコンピューティングサービスです。主な特徴は以下の通りです。 - コードをアップロードするだけで、自動的にコンピューティングリソースがプロビジョニングされる。 -
[廃止] AWS RoboMaker https://aws.amazon.com/robomaker/ 最初に2024年9月11日ごろに利用者向けにAWS RoboMakerのサポート終了がアナウンスされました。 具体的な内容については個別の通知で確認していただきたいのですが、アナウンスと同タイミングでサービスの新規利用が停止され、来年2025年9月10日をもってサービス終了となります。 サービス終了後の2025年9月11日にデータが削除されます。 直接の後継となるサービスは無く、AWSとしてはAWS Batchを使ったシミュレーションを代替方法として提示しています。 また、3D仮想環境の自動生成機能であるAWS RoboMaker WorldForgeについては代替手段が無く、サービス終了までにS3に既存データをエクスポートすることが推奨されています。 確認してみた 私の検証用AWSア
Lambda は 2014 年から存在しますが、コンテナイメージをサポートしたのは 2020 年 12 月のことで (参考 : AWS Lambda の新機能 – コンテナイメージのサポート)、その歴史からするとごく最近のことと言えます。① 10 GB までのサイズのイメージをデプロイできる ② 依存関係の解決が容易という点で、Lambda の利便性が大きく向上しました。 ただしコンテナイメージであっても Lambda のエントリーポイントーいわゆる handler 関数が必要です。つまり Lambda 専用 = Lambda 環境外では動かないイメージとしなければならず、コンテナが提供する価値のひとつ「ポータビリティ」を享受出来ません。 ところがこの状況は AWS Lambda Web Adapter の登場により一変しました。Lambda Web Adapter を利用すると、HTTP
概要 AWS Copilot CLI Amazon ECS デベロッパーツールの概要を基に整理します。 AWS Copilot CLI (コマンドラインインターフェイス) は、Amazon ECS 上のコンテナや環境にパッケージ化されたアプリケーションのデプロイと操作をソースコードから直接行えるようにする包括的なツールです。AWS Copilot を使用すると、AWSと Amazon ECS 要素(Application Load Balancer、パブリックサブネット、タスク、サービス、クラスターなど)を理解しなくても、これらの操作を実行できます。AWSユーザーに代わって Copilot が作成するAWSリソースは、ロードバランサーウェブサービスやバックエンドサービスなどの独善的なサービスパターンから、コンテナ化されたアプリケーションが即時に本番稼働できる環境を提供します。AWS Cod
１行のコードから社会課題の解決へ、思いを馳せる。READYFORのエンジニアリングの軌跡と展望｜Ryohei Kumagai
はじめにREADYFORでVPoEをしている熊谷です。READYFORアドカレ１日目を担当させていただきます。 今回は、READYFORのエンジニアリング組織について、シリーズAの資金調達後の2019年1月から、シリーズBやCを経て、今日までの約４年間を振り返ろうと思います。これまで多くの取り組みや、数々の失敗など、怒涛の日々を過ごしてきましたが、そのあたりを一度棚卸して整理することで、次の活動にも繋げていけたらと考えています。 また、シリーズA〜Cラウンド程度のスタートアップ企業や同規模のエンジニアリング組織を抱えているエンジニア/マネジメント層の方々へ、何か一つでも参考になる事があれば幸いです。 あと今回、この約４年間の振り返り記事を書こうと考えた理由はもう一つあります。昨今では世界情勢やスタートアップ業界、また生成AIなどテクノロジー界隈などなど、様々な領域で転換点を迎えていると思い
トモニテの Amazon Aurora を MySQL 5.7 から 8.0 へアップグレードした話 - every Tech Blog
はじめに 子育てメディア「トモニテ」でバックエンドやフロントエンドの設計・開発を担当している桝村です。 この記事は「every Tech Blog Advent Calendar 2023」 の 15 日目の記事です。 tech.every.tv 私たちは 2023 年 6 月にシステムメンテナンスを実施し、トモニテのアプリやWebサイト等で利用している本番環境のデータベース Amazon Aurora の MySQL バージョンを 5.7 から 8.0 へアップグレードしました。 tomonite.com 本記事では、メンテナンスを伴う MySQL 8.0 へのアップグレードについて、実施内容やそれによって得られた知見について紹介します。 背景 前提として、Amazon Aurora は 1 〜 3 の メジャーバージョンが存在し、それぞれのバージョンに対してサポート終了日が設定されてい
8年間の進化！CARTA MARKETING FIRMが機械学習基盤を刷新した理由とその成果 - CARTA TECH BLOG
TL;DR CARTA MARKETING FIRMのデータサイエンスチームは、8年間にわたり機械学習基盤を進化させてきました。Luigi、AWS SageMaker、Prefectと変遷する中で、「データサイエンティストが最も付加価値を生み出す部分に集中し、時間を費やすことができる基盤」という目標に着実に近づいています。 Luigiでは開発環境構築や運用負荷が高く、柔軟性に欠けていました。 SageMakerではインフラ構築の複雑さやStep Functionsの制約が課題でした。 Prefectの導入により、Pythonのみでインフラからバッチ処理まで記述可能になり、A/Bテストの実施が容易になりました。また、ログ監視の一元化により運用効率が大幅に向上しました。 この進化を通じて、データサイエンティストの生産性と施策の実験サイクルが大幅に改善されました。 概要 CARTA MARKET
Amazon SQSワーカーのアーキテクチャーをLambdaイベントソース/EventBridge Pipes/独自の3パターンで比較してみた | DevelopersIO
各実装方式の詳細は以下のとおりです 1. Lambdaイベントソース型 Lambdaのイベントソースマッピングを利用すると、SQS・Kinesis Data Streamなど様々なソースにポーリングを行い、Lambdaを呼び出せます。 イベントソースが暗黙にポーリングやSQSメッセージの受信･削除をするため、Lambdaアプリケーションは受け取ったメッセージの処理ロジックだけを記述します。 def lambda_handler(event, context): for message in event['Records']: print(message['body']) 覚えることが少なくて済み、管理も楽なため、SQSコンシューマーの初手としておすすめできる一方で、最大の問題点はLambdaの制約に縛れることです。 メッセージ処理が15分を超えたり、10GBを超える潤沢なメモリが必要だった
Amazon EC2 Inf2 instances, optimized for generative AI, now available globally
Starting today, the Amazon Elastic Compute Cloud (Amazon EC2) Inf2 instances are generally available in the Asia Pacific (Mumbai), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Ireland), and Europe (Frankfurt) regions. These instances deliver high performance at the lowest cost in Amazon EC2 for generative AI models. You can use Inf2 instances to run popular applications such as text sum
これは Livesense Advent Calendar 2023 DAY 9 の記事です。 はじめに 今年やった案件 今年ハマった箇所と解決方法 セキュリティグループに穴空いてなかったけどバッチが正常終了したからテストOKにした ここから学んだこと secure属性あるcookieをhttpで通信しようとした ここから学んだこと ドキュメントに必要権限が書いておらずコードを追った結果強い権限をつけることになった ここから学んだこと APIにリクエストを送ったら504になったからクライアント側で分割して送った ここから学んだこと ハマりから学んだこと はじめに インフラGの鈴木です。好きな競輪選手である松井宏佑選手がG1で2着になったのが本当に悔しかったです。今後も応援を継続していきたいと思います。 ところで、今年は色々ハマったので、お焚き上げがてらブログにすることにしました。 今年やっ
Zero-ETL integrationの実用を試みた。 しかし、Aurora MySQLの中身の〇〇が多すぎて失敗した。 - KAYAC engineers' blog
SREチームの池田です。 Redshiftが大好きなバケツアイコンの人です。 先日、Aurora MySQL と RedshiftのZero-ETL integrationがGA(Generally Available、一般提供開始)しました。 aws.amazon.com この記事は、早速Zero-ETL integrationの実戦投入を試してみたという内容です。 なお、この記事は失敗事例になりますが、Zero-ETL integrationはとても素晴らしい機能ですので、皆様も是非お使いください。 はじめに Zero-ETL integrationは、Aurora MySQLのデータをニアリアルタイムでRedshiftに同期してくれる素晴らしい機能です。 マネージメントコンソールから数ステップでAurora MySQLの中の すべてのテーブルを Redshiftに同期してくれます。
AWS re:Invent 2023 サーバーレスコンテナセッションガイド | Amazon Web Services
Amazon Web Services ブログ AWS re:Invent 2023 サーバーレスコンテナセッションガイド この記事は Serverless containers at AWS re:Invent 2023 (記事公開日: 2023 年 11 月 9 日) を翻訳したものです。 AWS re:Invent は、AWS によるクラウドコンピューティングに関する世界規模の「学習型」カンファレンスです。今年は、Amazon Elastic Container Service (Amazon ECS) と AWS Fargate のサービスチームが、生産性の向上、コストの最適化、ビジネスの俊敏性の向上に役立つベストプラクティスやヒントを共有します。ぜひ 11 月 27 日から 12 月 1 日まで (PST: 米国太平洋標準時)、ラスベガスにてご参加ください。 Expo ホールの
【執筆者紹介】 「 西根幸洋さん」 ポジション：メタバース事業本部エンジニア部マネージャー 入社時期：2023 年 10 月 業界歴：Web サービスやオンラインゲームの開発・運営に 11 年従事。主にサーバーサイド C# エンジニアとして活動し、個人として Microsoft MVP for Developer Technologies（2020-2022）を受賞。 はじめに こんにちは、メタバース事業本部エンジニア部マネージャーの西根です。 ホロアースの開発の話といえば、Unity を使ったクライアント側の実装や、アバターやライブ演出などの話が注目されがちですが、今回はサーバーサイドで利用している技術の一部をご紹介させていただこうと思います。 ホロアースの開発の裏側を知りたい、開発に参加してみたいと思っている方の参考になれば幸いです。 開発に参加してみたいと思った方はこちらから是非ご応
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでのGitLab実装パターンについてまとめてみた | DevelopersIO
Step Functions を使って、ECS のワンショットタスクを実行する - Classi開発者ブログ
マネージャーになって3年目の前半でやったことn連発 | DevelopersIO
AWS環境におけるPCI DSS v4.0 に対応したセキュリティ対策を考える | DevelopersIO
REST APIアーキテクチャとMVCアーキテクチャの違い - NRIネットコムBlog
外部サービス連携におけるリコンサイルの重要性と実装時の検討ポイント - inSmartBank
2024年9月に公開されたAWSサービスのサポート終了アナウンスまとめ | DevelopersIO
コンテナランタイムとしての AWS Lambda - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
AWS Copilot CLIを試してみた - Qiita
今年ハマった箇所をあえて共有してお焚き上げします - LIVESENSE ENGINEER BLOG
ホロアースのサーバーサイドの技術について | Blog｜ホロアース