ecschedule用のYAMLファイル専用リポジトリを解体して、各アプリケーションのリポジトリへ移管した話 - コネヒト開発者ブログ
プラットフォームグループでインフラエンジニアをしている @laughk です。 今回は、当社の ECS Scheduled Task の管理リポジトリを解体し、各アプリケーションのリポジトリへ移管した話を紹介します。 背景 なぜ一元管理しているリポジトリを解体したのか ECS関連のデプロイ・リソースの管理状況が変わった ecschedule の運用の安定し、プロダクトのリポジトリから独立している状況が煩わしくなった 解体から移管の概要 解体から移管の際に意識・工夫したこと git log は git filter-repo を使って保持した状態で移管 コードだけ移管するのではなく CI/CD による自動化もセット Pull Request 作成時に行うジョブ mainブランチマージ/tag push時に行う適用のジョブ デプロイで扱うCLIツールは aqua で管理 バッチ専用リポジトリを
製造業での生成AI活用術：自社製品を理解した基盤モデルと検索を組み合わせた用途探索 | Amazon Web Services
Amazon Web Services ブログ 製造業での生成AI活用術：自社製品を理解した基盤モデルと検索を組み合わせた用途探索 製造業、特に化学、素材や製薬の事業では自社製品の新しい用途の発見が新規市場の開拓に欠かせません。富士フイルムがフィルムで培った抗酸化機能を化粧品に転用した事例、森下仁丹がバイオカプセルの技術をレアメタルの回収に転用した事例は自社製品の可能性を広げた好例といえます。しかし、可能性を感じる一方で新しい用途の発見に困難を感じているお客様が多いと思います。テクノポートのアンケートに基づくと、用途開発を行っている企業の 84.5% が自社だけで有望な用途を発見するのは限界と回答しています。多様な新製品の登場や脱炭素の市場動向など、製品と求められる性能は多様であり、膨大な情報から自社製品の適合可能性を発見し育てるのは容易ではありません。先ほど挙げた富士フイルムでも、化粧品
🤔 どんな人向けの記事か ☑︎ これから AWS Step Functions で定期バッチのワークフローを構築したい人 ☑︎ AWS Step Functions の同時実行数制御を行いたい人 🐈⬛ 背景 AWS Step Functions(以下、Step Functions)のユースケースの一つとして、EventBridge Schedulerと組み合わせた定期バッチの実行があります。 EventBridge自体の実行保証は、1回以上となっています。そのため、スケジュールしたイベントが複数回発行されるケースが存在します。また、定期バッチを行う場合、特定のタイミングでバッチの実行時間が長くなり、実行中に次のバッチが開始されることがあります。 基本的には、冪等性を保つことで重複実行されても問題ない実装をアプリケーション側で行うことが重要ですが、冪等性のある実装でも、実行コストが高い
Amazon VPC Block Public Accessが実現するDefault-Denyな次世代のVPC管理 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 企業利用において、VPCリソースが作成された瞬間にインターネット公開のリスクがある。というのはやりずらいものがあった。 イメージがわかない人向けに例を挙げると、「インターネットに公開しない」というビジネスルールがあれば、間違って公開リソースを作った時点でルール違反なん？AWS Config Ruleでの修復だと事後解決であって、一旦作れちゃってるよね？みたいなやつです。 この辺の運用を「しっかり」チェックするためにVPCリソースだけCI/CDパイプラインに載せられないね…とかあったんじゃないでしょうか。 本日発表されたAmaz
AWSのECSってなんやねん
自己紹介 どもども、フリーランスエンジニアとして働いている井上弥風です。 ずっとバックエンドメインで仕事をしてきたのですが、インフラ側がヨワヨワ過ぎたので勉強を始めました ECSを自分で設定して開発時に利用して～～とかまで全部できる自信がなかったので学習していきます 対戦よろしくお願いします 初めに 記事の内容 この記事は「そもそもDockerって何？」から始まり、そのあとにECSを理解していきます ECSに関する内容だけを学びたい方は上記目次から「実際に使ってみた」まで飛んでいただけると読みやすいかと思います 記事のゴール 記事のゴールは下記です Dockerに対する理解をすること ECSに対する基礎知識を理解すること ECSに関わるサービス(ECRなど)の理解をすること そもそもDockerとは何か ECSの前にDockerってそもそも何者なんっていうのを僕が完全に理解できていなかった
当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の19日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマは『AWS App Runner』です。 はじめに 私は2022年にAWS App Runner(以後 App Runner)の入門記事を書いており
AWS ECS で実行するバッチ処理を Cluster Auto Scaling を使ってコスト最適化する - Hatena Developer Blog
システムプラットフォームチームで SRE をしている id:chaya2z です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の6月号です。先月は id:MysticDoll さんの Postfixのログ監視で注意すべきSMTPのステータス仕様について でした。 ECS で実行するバッチ処理を、インスタンス数を最適化する仕組みである ECS Cluster Auto Scaling を使ってコスト最適化した取り組みを紹介します。 ECS の起動タイプに EC2 を使う背景 はてなでは、ECS の起動タイプとして Fargate ではなく EC2 を使用しているサービスがあります。そのサービス例として、バッチ処理があります。バッチ処理のジョブには数秒・数分で終わるものもあれば、数時間かかるものがあります。 EC2 起動タイプを選ぶ理由は、タスク終了までのタイムアウト待
ログラスの非同期処理基盤の設計と導入
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" の 40週目の記事です！ 1年間連続達成まで 残り 13 週 となりました！ こんにちは、ログラスでエンジニアをしております南部です。 唐突ですが、みなさんは「非同期処理」の実装を行っていますか？ 非同期処理とは、プログラムの処理を他の処理と並行して行う方法です。これにより、ユーザーの操作がブロックされることなく、バックグラウンドで時間のかかる処理を実行することができます。 Loglassではユーザーの大量のデータを取り扱うこともあり、非同期処理を多く利用しています。 今までは単一のAPIで同期処理・非同期処理どちらも行っていましたが、今回独立したインフラに処理を投げておける非同期処理基盤を導入する活動を行いました。 最近本格導入に至りましたので、背景から設計・工夫したことを共有できればと思いま
前談 本番リリースの待ち時間ってドキドキして、他の作業も手につきませんよね？ そんなモヤモヤタイムを減らすべく今回Next.jsアプリケーションの本番リリース時間を半分以下に出来たので何が効果的だったのかの共有記事になります。 概要 Next.jsの本番リリースフローを見直して、本番リリース時間の短縮を目指しました。 今回の記事では、細かい実装内容については省略している部分がありますので、どんなことをやれば時間短縮につながるのか？といった部分の確認にいただければと思います。 基礎技術 Amazon ECS Amazon ECR Nextjs Yarn 修正を加えた技術 AWS CodePipeline GitHub Actionsへ移行 AWS CodeBuild GitHub Actionsへ移行 成果 本番へのリリースフロー全体の待ち時間 40分→18分に短縮 内訳 ステージング環境か
AWSのECS on FargateのARM化によるコスト最適化 〜調査・計画・移行、そして本番で起きた課題〜 - inSmartBank
こんにちは。スマートバンクSREの@uehiraです！ SREチームはサービスの成長につれて増えていくインフラコストを最適化することをミッションとしており、当記事ではコスト最適化の一環として、我々が管理するクラウドリソースをX86ベースのプロセッサからARMベースのプロセッサに切り替えた試みについてご紹介します。 前提として、スマートバンクが提供する家計簿アプリB/43ではインフラ基盤としてAWSを採用していますので、本記事の内容はB/43のインフラ基盤の一部をGravitonへ移行した話となります。 なお、FinTechスタートアップとしてのAWSインフラ設計については以下の記事にまとめているのでぜひご覧ください！ blog.smartbank.co.jp 背景 初めになぜプロセッサを切り替えることにしたのか、背景を簡単に説明いたします。 コスト最適化をミッションとして持つSREチーム
Langfuse v3はv2からどのように変わったのかを噛み締めながらAWSマネージドサービスでLangfuse v3を作りきる
Langfuse v3がついにGAしました皆さま年の瀬ですが、いかがお過ごしでしょうか？ LLMそのものにはあまり興味が持てなかった私ですが、案件で使って依頼Langfuse、もといLLMOpsのツール群が大好きになった私。 2024年12月9日にLangfuse v3がついにGAしてから、早く使ってみたいという気持ちからあろうことか年末の忙しい時期にLangfuse v3のアーキテクチャをAWSマネージドサービスで作ってみました。 良い子の皆さんは、大掃除や年越し準備をしている時期ですが、私はLangfuse v3をAWSマネージドサービスで作っていました.....。よろしくない。 だいぶ長い記事なので先に結論Langfuse v3のアーキテクチャをAWSマネージドサービスで作りたい場合はぜひ拙作のTerraformモジュールをご利用ください。 Langfuseとはまずおさらいですが、L
こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2025年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2024年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 250個 です。 まとめるにあたって、次のドキュメントや、弊社の多数のブログを参考にしました。 コンピューティング Amazon EC2 正式名称は Amaz
この記事はMackerel Advent Calendar 2024の15日目の記事です。14日目は@sogahisashiさんでOpenTelemetry デモアプリケーションを使って Mackerel のメトリックエクスプローラーを体験でした。16日目は@inommmさんです。 デプロイは速ければ速いほどいい。だがアプリケーションの成長などによって遅くなっていくものだ。デプロイが遅くなったときに、アプリケーションが順調に成長しているのか、それとも設定がおかしくて余計に時間がかかっているのかなど、どこに時間がかかっているのかがわかっているのがよいだろう。 デプロイと一言に言っても様々な工程がある。どの工程で時間がかかっているのかを一連の流れ、つまりトレースとして見れると便利だ。そんなときに活躍するのが分散トレーシングサービスのVaxilaだ。 mackerel.io 本記事ではVaxil
株式会社ナウキャスト様の AWS 生成 AI 事例：決算短信データ抽出業務における LLM 業務適用 | Amazon Web Services
Amazon Web Services ブログ 株式会社ナウキャスト様の AWS 生成 AI 事例：決算短信データ抽出業務における LLM 業務適用 本稿は株式会社ナウキャスト データ & AI ソリューション事業部 事業責任者 片山 燎平様と Amazon Web Services Japan ソリューションアーキテクト 宮﨑の共同執筆です。LLM の業務活用に取り組まれる方の参考となれば幸いです。また、今回内容を含む講演動画も公開されておりますので、ご興味をお持ち頂けましたらあわせてご覧ください。 == 株式会社ナウキャストでは POS データやクレジットカードの決済データといった「オルタナティブデータ」を解析し、リアルタイムな経済統計の開発、生活者の消費行動や企業活動をより早く正確にとらえるデータソリューションの提供に取り組んでいます。POS データやクレジットカードなどの決済データ
AWS Lambda関数をlambrollとGitHub Actionsでデプロイしてみた ~ fujiwara-ware OSS ~ | DevelopersIO
クラスメソッドは2024年に5つのOSSに対して支援を実施しました。 当方が推薦して選定された @fujiwara さん作による Amazon ECSのデプロイツールであるecspressoについては、先日紹介記事をかきました。 本記事では、 ecspresso の姉妹プロダクトとも言える、AWS Lambdaのデプロイツール lamboll について、基本的な使い方とGitHub Actionsからデプロイする方法について紹介します。 lambrollはミニマリストのためのAWS Lambdaデプロイツール GitHubのプロジェクトページから lambroll の概要を引用します lambroll is a minimal deployment tool for AWS Lambda. lambroll はLambda関数のデプロイに必要な最小限の機能しか提供しません。やっていることと
プログラミング書フェア - 達人出版会
年末年始に読みたい！ インプレス＆近代科学社フェア 近代科学社・インプレスのコンピュータ書の中から選ばれたタイトルを、期間限定で50%OFFにてご提供します！ ・セール期間：2024年12月20日(金)〜2025年1月13日(火) ・対象タイトル：インプレス、インプレスNext Publishing、近代科学社、近代科学社Digitalの中から選ばれたタイトル この機会にぜひご購入ください！ セール対象書籍一覧 Backstageをはじめよう！ 田中 絢子, 山名 智博 インプレス NextPublishing 3,080円 1,540円 《特価》 本書は、Platform EngineeringとBackstageについて徹底的に解説する一冊です。Platform Engineeringの導入による認知負荷の低減や生産性の向上を目指し、Backstageを操作する際の基礎知識から実践的な
Amazon Web Services ブログ ベストプラクティス: AWS によるオブザーバビリティの実装 お客様は、クラウドベースのソリューションを導入する際に、システムが円滑に稼働していることを確認し、問題が発生したときに迅速に修正できるようにする必要があります。しかし、オブザーバビリティを特に企業間をまたがって数十から数百のサービスが関わるような大規模に展開することは、簡単にはいかない場合があります。そのため、お客様はベストプラクティスの推奨事項、ツールの選択に関するガイダンス、そして最も重要な、オブザーバビリティを開始するための段階的なプロセスを求めています。AWS での堅牢なオブザーバビリティ戦略を実装するプロセスを簡素化するために、ベストプラクティスガイドをまとめました。この記事では、ガイドで取り上げられているトピック、ガイドの活用方法、およびガイドへ貢献する方法について説明
AWS Resource Explorer と AWS CloudTrail を使用して、AWS リソースへの一貫したタグ付けを行う | Amazon Web Services
Amazon Web Services ブログ AWS Resource Explorer と AWS CloudTrail を使用して、AWS リソースへの一貫したタグ付けを行う 組織の目的に応じたリソースタグを一貫して適用することは、簡単ではないケースがあります。例えば、正確な原価配分や細かなアクセス制御などを行いたい時です。また、開発者が開発やテストの初期段階で作成した別環境のリソースをクリーンアップする時に、問題に直面することもあるでしょう。適切なタグ付けがされていないと、組織から離れた開発者が作成したお試しリソースを特定したり、プロジェクトが終了した際にリソースをクリーンアップするのが難しくなります。 AWSリソースへのタグ付けは、ワークロード開発の初期段階で見落とされがちです。開発者にタグ付与ルールを守らせるのに苦労するユーザーもいます。AWS リソースに対して正確で意味のある
サルソニード様の AWS 生成 AI 事例「Amazon Bedrock と Amazon Kendra の RAG 環境で法律関連オウンドメディア記事作成を効率化」のご紹介 | Amazon Web Services
Amazon Web Services ブログ サルソニード様の AWS 生成 AI 事例「Amazon Bedrock と Amazon Kendra の RAG 環境で法律関連オウンドメディア記事作成を効率化」のご紹介 本ブログは株式会社サルソニード様と Amazon Web Services Japan が共同で執筆いたしました。 みなさん、こんにちは。AWS ソリューションアーキテクトの小林大樹です。 昨今、生成 AI を活用して業務効率化を図るお客様が増えています。特に、大量のテキストデータを扱うマーケティング業務では、記事作成や校正、リライトなどのタスクを生成 AI に任せることで、人的リソースを削減し、本来のマーケティング活動に注力できるようになってきました。 今回は、Web マーケティングのワンストップソリューションを提供されている株式会社サルソニード様が、Amazon B
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
はじめに さくらのクラウドで、コンテナ実行環境「AppRun β版」がリリースされました。 ・さくらのクラウド AppRun https://cloud.sakura.ad.jp/lp/apprun/ アーキテクチャや仕様、FAQは、以下のマニュアルが詳しいです。 ・さくらのクラウド マニュアル AppRun 技術概要 https://manual.sakura.ad.jp/cloud/apprun/glossary.html ・さくらのクラウド マニュアル AppRun サポート https://manual.sakura.ad.jp/cloud/apprun/faq.html トライアルでは、一部制限付きではありますが、全機能が無料で用できるとのことで、試してみました。 僕が触ったことがあるクラウドのコンテナ実行環境としては、AWS ECS on Fargateぐらいですが、それとの違
CodeBuildでGitHub Apps使えるようになってアツい｜Productivity Weekly(2024-08-28,21)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2024-08-21, 2024-08-28 合併号です。 今回が第 164 回目です。過去の記事はこちら。 news 📺 Notice of upcoming deprecations and breaking changes in GitHub Actions runners - GitHub Changelog GitHub Actions における、今後半年以内に非推奨となる機能や破壊
こんにちは！サーバーサイドエンジニアのkurisuです。 2024年06月に、B/43あとばらいチャージの裏側でサービス提供していただいている事業者の移行を行いました。その際、返済データのリコンサイルバッチの設計と実装を担当しました。 外部サービスとのデータ連携における不整合は、多くのシステムで避けられない問題です。 本記事では、B/43のあとばらいチャージ機能での事例をもとに、リコンサイルの重要性と実装時の検討ポイントをご紹介します。 リコンサイルとは 外部サービス連携における課題と不整合の要因 1. 自社から外部サービスへの通信エラー 2. Webhook通知の不達や遅延 外部サービスにおけるリコンサイルができる条件 リコンサイルバッチの実装時の検討ポイント 前提 1. 外部サービスとのデータの不整合箇所の洗い出し 2. データ量と処理時間/実行頻度 3. 不整合検知時の対応 4. エ
こんにちは。サーバーサイドエンジニアの @atolix_です。 今回は37signalsが公開しているThrusterを、メドピアで本番運用をしているアプリケーションのkakariに導入してみました。 kakari.medpeer.jp Thrusterとは Thrusterはアセット配信やX-Sendfileのサポートといった機能を持ったGo言語製のHTTP/2プロキシです。 詳細な設定不要でRails標準のPumaサーバーと組み合わせて動作して、nginxを構成に加えた時と同様のリクエスト処理を行うことが可能です。 github.com www.publickey1.jp 導入前の状況 導入以前のkakariは以下のような構成を取っていました。 アセット配信の為にALBの背後にnginxを置いています。 今回は管理コストを下げる為に、nginxを剥がしてThrusterからアセット配信
[廃止] AWS RoboMaker https://aws.amazon.com/robomaker/ 最初に2024年9月11日ごろに利用者向けにAWS RoboMakerのサポート終了がアナウンスされました。 具体的な内容については個別の通知で確認していただきたいのですが、アナウンスと同タイミングでサービスの新規利用が停止され、来年2025年9月10日をもってサービス終了となります。 サービス終了後の2025年9月11日にデータが削除されます。 直接の後継となるサービスは無く、AWSとしてはAWS Batchを使ったシミュレーションを代替方法として提示しています。 また、3D仮想環境の自動生成機能であるAWS RoboMaker WorldForgeについては代替手段が無く、サービス終了までにS3に既存データをエクスポートすることが推奨されています。 確認してみた 私の検証用AWSア
こんにちは。シンプルフォーム株式会社 にてインフラエンジニアをしています、山岸です。 社内向けに運用しているデータ分析基盤について現状抱えているいくつかの課題を克服すべく、最近は更改に向けた検証に取り組んでいます。今回は取り組みの一つである「AWS Glue と Apache Iceberg によるデータレイクテーブル構築」についてご紹介したいと思います。 概要 当社ではデータ分析基盤の ETL 処理に AWS Glue を使用しています。社内のデータ分析業務等のため、RDS データベース等のデータソースから日次で S3 上に構築された DWH に連携しています。 現行のデータ分析基盤では、DB テーブル上のデータを毎日全件洗い替えています。このような処理方法は ETL 実装や問題発生時の復旧が簡単である一方、ETL 処理のコスト効率が悪く、データ量の増加に伴って処理時間も長くなっていきま
お疲れさまです。とーちです。 何番煎じか分からないくらいのネタではあるのですが、Amazon ECS（以後ECS）のAWS Fargate（以後Fargate）で踏み台（Bastion）を作ってみました。そもそも踏み台とはというところについては以下の記事をご参照いただければと思います。 今回踏み台を作成した理由は、プライベートサブネット上のWebサーバへのアクセスです。具体的には、ブラウザを使用してインターネット経由でアクセスする必要がありました。 要件 作成するにあたって自分の中での要件としては以下のあたりでした Terraformで作る（単にTerraformが好きだから） コンテナイメージのビルドとかしたくない（ビルドがからむと構築時に面倒だから） 止め忘れた時のために数時間経ったら勝手に止まってほしい（コスト節約のため） シェルスクリプト一発でECSタスクの起動からAWS Syst
概要 AWS Copilot CLI Amazon ECS デベロッパーツールの概要を基に整理します。 AWS Copilot CLI (コマンドラインインターフェイス) は、Amazon ECS 上のコンテナや環境にパッケージ化されたアプリケーションのデプロイと操作をソースコードから直接行えるようにする包括的なツールです。AWS Copilot を使用すると、AWSと Amazon ECS 要素(Application Load Balancer、パブリックサブネット、タスク、サービス、クラスターなど)を理解しなくても、これらの操作を実行できます。AWSユーザーに代わって Copilot が作成するAWSリソースは、ロードバランサーウェブサービスやバックエンドサービスなどの独善的なサービスパターンから、コンテナ化されたアプリケーションが即時に本番稼働できる環境を提供します。AWS Cod
オンライン自習室アプリを個人で開発した件
はじめに 私は、「アプレンティス」の2期生として、現時点で約6ヶ月間、プログラミングの学習をしています。 そのカリキュラムの中で、「Sabo Learn（サボラーン）」というオンライン自習室を提供するWebアプリをリリースしました。 前置きとして、開発期間は約2ヶ月間です。（平日は仕事をしているため、実稼働はもっと少なく、約500時間が開発に使える時間でした。） また、「誰かの課題を解決する」というテーマで、実際に使ってもらえるプロダクトを目指して開発しておりますが、それと同時に、自身の転職活動のポートフォリオでもあります。 そのため、随所に、「どうしてわざわざそんな技術を使ったの？」「インフラのスペック過剰じゃない？」といったツッコミどころがあるかもしれませんが、そのほとんどは「自分が知らない技術をキャッチアップしたかったから」か、「これくらいのことなら実装できます」というアピールのため
MIXI でモンストサーバチームとセキュリティ室を兼務している、atponsです。 私が所属するモンストサーバチームでは、モンスターストライク、モンスターストライク スタジアムの開発や運用を行っています。 モンストの普段の開発や運用に関するやりとりは GitHub 上で行っています。MIXI 社では部署ごとに技術スタックやツールの選択を柔軟に行うことができるため、GitHub も各部署で契約したものを利用していました。 その中で、MIXI では 2023 年より全社的に GitHub Enterprise Cloud の導入を進めることになりました。GitHub Enteprise Cloud には、GitHub Copilot Enterprise の導入が可能になる他、様々なメリットが存在するので、今回は特に活用している機能を紹介します。 SAML SSO によるユーザー管理性向上 G
AWS CloudFormation のデプロイを楽観的な安定化で高速化した方法 | Amazon Web Services
Amazon Web Services ブログ AWS CloudFormation のデプロイを楽観的な安定化で高速化した方法 はじめに AWS CloudFormation を利用するお客様から、リソースプロビジョニングの内部処理や、AWS マネジメントコンソール や AWS Command Line Interface(AWS CLI) と比べてリソースまたはスタックのプロビジョニングに時間がかかる理由について質問をいただくことがあります。 そこで、この記事ではCloudFormation におけるリソースのプロビジョニングに影響する様々な要因について述べます。記事では特に、 CloudFormation やその他のInfrastructure as Code (IaC) ツールが信頼性の高いデプロイを確実に行うためのリソースの安定化について詳しく説明します。 また、CloudFor
Amazon ECS の 10 周年を祝う: 10 年間にわたるコンテナ化イノベーションの推進 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS の 10 周年を祝う: 10 年間にわたるコンテナ化イノベーションの推進 10 月 28 日、私たちは Amazon Elastic Container Service (ECS) の 10 周年と、クラウドで可能なことの限界を押し広げてきたそのすばらしいジャーニーをお祝いしたいと思います! Amazon Web Services (AWS) で Docker コンテナの実行を効率化するソリューションとして始まったものが、シームレスなコンテナオーケストレーションを実現する AWS Fargate を使用したサーバーレスオプションなど、優れたパフォーマンスと運用のシンプルさの両方を提供する基盤テクノロジーへと進化しました。 過去 10 年間で、Amazon ECS は数え切れないほどの組織にとって信頼できるソリューションと
信頼性を担保しながらユーザー体験を向上するTROCCO開発の裏側（アーキテクチャConference 2024講演レポート）｜株式会社primeNumber
11月26日に開催された、システムの基盤となるアーキテクチャをテーマにした「アーキテクチャConference 2024」。プロダクト開発本部 CTO室長の中根さんが登壇、「PaaSとSaaSの境目で信頼性と開発速度を両立する〜TROCCO®︎のこれまでとこれから〜」と題し、TROCCOの歴史を振り返りながらアーキテクチャについて解説しました。 プロダクト開発本部 CTO室長の中根さんなお、中根さんの登壇資料はSpeaker Deckに公開されています。講演の詳細を知りたい方はこちらの資料をお読みください データ基盤構築・運用の辛みを“まるっと引き受ける”のがTROCCOの役割中根さんははじめにTROCCOの概要を紹介。TROCCOはデータ基盤構築や運用の「統合」部分を担うサービスだとし、「統合だけで嬉しいの？ と思われるかもしれないが、実際にはさまざまなデータソースへの対応や、実装した後
コスト配分タグを活用してAmazon ECSクラスターやECSサービス単位の利用料金を把握する方法 | DevelopersIO
はじめに Amazon ECSのクラスターやECSサービスで起動するタスクにタグを設定することで、タグ単位で利用料金を把握することが可能です。 ECSのコストをタグで管理するには、ECSサービスやECSクラスターではなく、ECSタスクにタグを付与する必要があります。 ECSサービスに対してタグを追加し、さらにタグの伝播を有効化することで、ECSサービスから起動されたタスクにも自動的にタグが付与されます。 なお、タグの伝播はデフォルトでは無効化されているため、手動で有効化する必要があります。 試してみる すでにECSサービスが作成済みであることを前提とします。 今回は、ECSサービスで起動しているタスクの利用料金を把握できるよう手順を解説します。 既存のECSサービスでタスクにタグを付与する手順は、以下の通りです。 タスクの起動に使用するECSサービスに対してタグを付与する ECSサービスの
本記事は AWSアワード記念！夏のアドベントカレンダー 16日目の記事です。 🎆🏆 15日目 ▶▶ 本記事 ▶▶ 17日目 🏆🎆 こんにちは、坂本です。 今年の 2024 Japan AWS All Certifications Engineer に選ばれましたので AWSアワード記念！夏のアドベントカレンダー を機にブログ初投稿になります。 最近、Amazon Simple Email Service（以下：SES） の承認ポリシーを設定する機会があったので、今回は備忘もかねて書いてみます。 はじめに SES は API エンドポイントまたは SMTP インターフェイス を利用してメール配信を行えるサービスです。SES を利用するためには検証済みIDとしてメールアドレスもしくはドメインを作成します。IDステータスが検証済みになっていれば利用可能です。承認ポリシーは検証済みIDの詳
CeleryのMessage Priorities機能を利用した処理遅延の低減 - Nealle Developer's Blog
こんにちは、SREチームの宮後(@miya10kei)です。 バイクに乗っていて気持ちが良い季節になってきましたね🌸 メッセージキューを利用した非同期タスクを扱っていて、誰しも優先度順にタスクを処理したいなと思ったことがあるのではないでしょうか？ 今回はCeleryの機能を利用して実現することができたので紹介したいと思います。 Celeryってなに？ Celeryは分散メッセージキュー機能を提供するPythonベースのOSSです。 メッセージキューのBrokerとしてRedisやRabbitMQ、Amazon SQSなどを使用でき、分散環境での非同期タスクの実行を実現しています。 公式サイトを引用すると次の説明になりますね。 Celery is a simple, flexible, and reliable distributed system to process vast amou
Savings Plans 購入後に忘れずに設定したい3つの通知設定 - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 AWS のコスト最適化で最も有名なサービスであろう Savings Plans を購入後に、忘れずに行いたい通知及び監視設定について改めて記載します。 はじめに 余談 2020年1月6日 Savings Plans の利用率を確認及び通知する方法 2020年11月6日 Savings Plan が有効期限と予約期限の通知アラートに対応しました リザーブドインスタンスについて SP 購入後に忘れずに設定したい3つの通知設定 1. 有効期限切れの通知 設定方法 実際に送付された通知の例 AWS 公式ドキュメントの紹介 2. AWS Budgets による使用率の監視通知 どのように運用するのか？ 設定方法 実際に送付された通知の例 運用上の注意点 3. AWS Budgets によるカバレッジの監視通知 どのように運用するのか？ 設定方法 実際に送付された通知
導入 何について話すのか 開発環境を改善して、効率化することでアプリケーション開発に注力するため行った（行っている）取り組みについてお話します。 本記事はQmonus Value Streamの投稿キャンペーン記事です。 想定読者 レガシーな環境を改善している（していきたい）人 開発環境改善のアイデアが欲しい人 CI/CDやDevOpsよりな仕事に関わる人 どんな人が書いているか(自己紹介) 3年目のエンジニアでバックエンドを中心に担当（最近インフラも担当するようになりました） メインで扱う技術はPHP・TypeScript・AWS アプリケーション開発とAWSインフラ構築を担当する 受託開発が中心の企業に従事 記事で触れる取り組み（取り組んだ順） Dockerの導入 テスト・静的解析の導入 CI/CDの導入・整備による効率化 Gitフローの変更・整備・周知 フロントエンド側へTypeSc
SRE チームの市川恭佑です。 今回はコンテナに関連するDevOpsツールを作った話です。ecresolve と書いて「イーシーリゾルブ」と読みます*1。 github.com ecresolve は、ざっくり言うとコンテナイメージのタグが上書きされる前提で、複数タグを指定すると一番先頭で見つかったものを出力するツールです。 基本的な使い方としては、たとえば dog と cat のタグのみが存在する ECR リポジトリ animal があるとき、以下のコマンドを実行すると標準出力に dog が出力されます*2。 ecresolve monkey bird dog human cat --repository-name=animal --format=tag-only # dog なお、本記事の大前提として、もちろん本番環境において、特にお客様のデータを取り扱うようなコンポーネントについては
こんにちは、大林です。JAWS-UG朝会 #63 で、「ガードレールの有用性とリスク対策」というタイトルで登壇してきました。ガードレールはアカウントを安全に運用する上で実装しておきたい仕組みですが、必ず理解しておくべきリスクもあります。本ブログでは、JAWS-UG朝会 #63で発表した内容を説明していきます。 jawsug-asa.connpass.com 発表資料 アカウント運用のあるべき姿 アカウント運用におけるコスト増加 アカウント運用の自動化によって発生するリスク 小さく自動化を進める ガードレールの大量課金リスク ガードレールの大量課金リスク対策 大量課金リスクへの予防策 まとめ 発表資料 speakerdeck.com アカウント運用のあるべき姿 上の図は、AWSアカウントを安全かつ効率的に運用するための4つのプロセス、「検知・通知」「調査・修正」「分析」「改善」を示しています
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Step Functions で同時実行数制御を行う方法
AWS入門ブログリレー2024〜AWS App Runner編〜 | DevelopersIO
ECS(Next.js)の本番リリース時間を半分以下にしてみた
【2025年】AWS全サービスまとめ | DevelopersIO
デプロイにかかる時間をトレースとして可視化する - ぴょこぴょこブログ
ベストプラクティス: AWS によるオブザーバビリティの実装 | Amazon Web Services
T・Pぼん | Netflix (ネットフリックス) 公式サイト
さくらのクラウドAppRun β版を試してみた
外部サービス連携におけるリコンサイルの重要性と実装時の検討ポイント - inSmartBank
RailsアプリケーションにThrusterを導入する - メドピア開発者ブログ
2024年9月に公開されたAWSサービスのサポート終了アナウンスまとめ | DevelopersIO
AWS Glue × Apache Iceberg で構築する更新可能なデータレイクテーブル
TerraformでECS Fargateの踏み台をつくる | DevelopersIO
AWS Copilot CLIを試してみた - Qiita
モンスターストライクの開発には GitHub Enterprise Cloud を活用しています
AWS SES の承認ポリシーを設定してみた - NRIネットコムBlog
開発環境を改善するためにチームに提案して実践したこと - Qiita
コンテナイメージのタグをよしなに探すツールを作りました - KAYAC Engineers' Blog
Configの大量課金リスクと自動化のリスクへの具体的な対策 - NRIネットコムBlog