製造業での生成AI活用術：自社製品を理解した基盤モデルと検索を組み合わせた用途探索 | Amazon Web Services
Amazon Web Services ブログ 製造業での生成AI活用術：自社製品を理解した基盤モデルと検索を組み合わせた用途探索 製造業、特に化学、素材や製薬の事業では自社製品の新しい用途の発見が新規市場の開拓に欠かせません。富士フイルムがフィルムで培った抗酸化機能を化粧品に転用した事例、森下仁丹がバイオカプセルの技術をレアメタルの回収に転用した事例は自社製品の可能性を広げた好例といえます。しかし、可能性を感じる一方で新しい用途の発見に困難を感じているお客様が多いと思います。テクノポートのアンケートに基づくと、用途開発を行っている企業の 84.5% が自社だけで有望な用途を発見するのは限界と回答しています。多様な新製品の登場や脱炭素の市場動向など、製品と求められる性能は多様であり、膨大な情報から自社製品の適合可能性を発見し育てるのは容易ではありません。先ほど挙げた富士フイルムでも、化粧品
こんにちは、iimonでエンジニアをしています。須藤です。 本記事はiimonアドベントカレンダー20日目の記事となります。 業務中にbatch処理を追加する際、 サーバー側リポジトリのgithub actionsで、コンテナ実行コマンドの上書きと、batch job定義の登録をして、 インフラ側リポジトリでbatch jobのscheduleを設定するということが何度かあり、 サーバー側リポジトリだけで完結させたいと思っていたところ、 ecscheduleを使うとできそうなので試してみることにしました。 container imageの準備 ECS clusterを作成 ecsEventsRoleの作成 github actions関連 ECS task定義を作成 ecscheduleの設定 Github Actionsを構成 動作確認 まとめ 最後に 参考 container imag
🤔 どんな人向けの記事か ☑︎ これから AWS Step Functions で定期バッチのワークフローを構築したい人 ☑︎ AWS Step Functions の同時実行数制御を行いたい人 🐈⬛ 背景 AWS Step Functions(以下、Step Functions)のユースケースの一つとして、EventBridge Schedulerと組み合わせた定期バッチの実行があります。 EventBridge自体の実行保証は、1回以上となっています。そのため、スケジュールしたイベントが複数回発行されるケースが存在します。また、定期バッチを行う場合、特定のタイミングでバッチの実行時間が長くなり、実行中に次のバッチが開始されることがあります。 基本的には、冪等性を保つことで重複実行されても問題ない実装をアプリケーション側で行うことが重要ですが、冪等性のある実装でも、実行コストが高い
AWSのECSってなんやねん
自己紹介 どもども、フリーランスエンジニアとして働いている井上弥風です。 ずっとバックエンドメインで仕事をしてきたのですが、インフラ側がヨワヨワ過ぎたので勉強を始めました ECSを自分で設定して開発時に利用して～～とかまで全部できる自信がなかったので学習していきます 対戦よろしくお願いします 初めに 記事の内容 この記事は「そもそもDockerって何？」から始まり、そのあとにECSを理解していきます ECSに関する内容だけを学びたい方は上記目次から「実際に使ってみた」まで飛んでいただけると読みやすいかと思います 記事のゴール 記事のゴールは下記です Dockerに対する理解をすること ECSに対する基礎知識を理解すること ECSに関わるサービス(ECRなど)の理解をすること そもそもDockerとは何か ECSの前にDockerってそもそも何者なんっていうのを僕が完全に理解できていなかった
1,800万人が利用する『家族アルバム みてね』におけるK8s基盤のアップグレード戦略と継続的改善 / 杉本 浩平
本記事は、2023年9月29日に開催された SRE NEXT 2023 に登壇させていただいた みてねプロダクト開発部 基盤開発グループ SREチーム 杉本（@kohbis）のセッションを、文字起こしをベースにブログ記事にまとめたものです。 セッションについてタイトル1,800万人が利用する『家族アルバム みてね』におけるK8s基盤のアップグレード戦略と継続的改善 セッション概要『家族アルバム みてね』（以下、『みてね』）のインフラは、2021年始めにAWS OpsWorksからAmazon EKSのマネージドK8s基盤へと移行しました。K8sの採用は大きな恩恵がある一方で「運用コストが高くなる」と一般的に言われています。その理由としてあげられやすい4ヶ月に一回のマイナーリリースへの追従については、K8sクラスタの運用経験のある方であれば少なからず苦労した思い出があるのではないでしょうか。
2023年 crowdworks.jp の SRE チームでやったこと - クラウドワークス エンジニアブログ
この記事は クラウドワークス Advent Calendar 2023 シリーズ1 6日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 この記事では crowdworks.jp の SRE チームが2023年にやったことを記載していきます。 やっていることは色々で、まとまりはありませんが、そこら辺はご容赦ください。 2022年の振り返り 2023年にやったこと CircleCI インシデント対応 RundeckのECS化 Railsで使用しているMemcachedをRedisに寄せる 課題 1. Memcachedでは停止時にデータが揮発する 2. Memcached単体ではマルチAZ構成でデータのレプリケーションができない 3. Memcached/Redisともにバージョンアップをしていない 4. MemcachedとRedi
ログラスの非同期処理基盤の設計と導入
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" の 40週目の記事です！ 1年間連続達成まで 残り 13 週 となりました！ こんにちは、ログラスでエンジニアをしております南部です。 唐突ですが、みなさんは「非同期処理」の実装を行っていますか？ 非同期処理とは、プログラムの処理を他の処理と並行して行う方法です。これにより、ユーザーの操作がブロックされることなく、バックグラウンドで時間のかかる処理を実行することができます。 Loglassではユーザーの大量のデータを取り扱うこともあり、非同期処理を多く利用しています。 今までは単一のAPIで同期処理・非同期処理どちらも行っていましたが、今回独立したインフラに処理を投げておける非同期処理基盤を導入する活動を行いました。 最近本格導入に至りましたので、背景から設計・工夫したことを共有できればと思いま
前談 本番リリースの待ち時間ってドキドキして、他の作業も手につきませんよね？ そんなモヤモヤタイムを減らすべく今回Next.jsアプリケーションの本番リリース時間を半分以下に出来たので何が効果的だったのかの共有記事になります。 概要 Next.jsの本番リリースフローを見直して、本番リリース時間の短縮を目指しました。 今回の記事では、細かい実装内容については省略している部分がありますので、どんなことをやれば時間短縮につながるのか？といった部分の確認にいただければと思います。 基礎技術 Amazon ECS Amazon ECR Nextjs Yarn 修正を加えた技術 AWS CodePipeline GitHub Actionsへ移行 AWS CodeBuild GitHub Actionsへ移行 成果 本番へのリリースフロー全体の待ち時間 40分→18分に短縮 内訳 ステージング環境か
AWSのECS on FargateのARM化によるコスト最適化 〜調査・計画・移行、そして本番で起きた課題〜 - inSmartBank
こんにちは。スマートバンクSREの@uehiraです！ SREチームはサービスの成長につれて増えていくインフラコストを最適化することをミッションとしており、当記事ではコスト最適化の一環として、我々が管理するクラウドリソースをX86ベースのプロセッサからARMベースのプロセッサに切り替えた試みについてご紹介します。 前提として、スマートバンクが提供する家計簿アプリB/43ではインフラ基盤としてAWSを採用していますので、本記事の内容はB/43のインフラ基盤の一部をGravitonへ移行した話となります。 なお、FinTechスタートアップとしてのAWSインフラ設計については以下の記事にまとめているのでぜひご覧ください！ blog.smartbank.co.jp 背景 初めになぜプロセッサを切り替えることにしたのか、背景を簡単に説明いたします。 コスト最適化をミッションとして持つSREチーム
株式会社ナウキャスト様の AWS 生成 AI 事例：決算短信データ抽出業務における LLM 業務適用 | Amazon Web Services
Amazon Web Services ブログ 株式会社ナウキャスト様の AWS 生成 AI 事例：決算短信データ抽出業務における LLM 業務適用 本稿は株式会社ナウキャスト データ & AI ソリューション事業部 事業責任者 片山 燎平様と Amazon Web Services Japan ソリューションアーキテクト 宮﨑の共同執筆です。LLM の業務活用に取り組まれる方の参考となれば幸いです。また、今回内容を含む講演動画も公開されておりますので、ご興味をお持ち頂けましたらあわせてご覧ください。 == 株式会社ナウキャストでは POS データやクレジットカードの決済データといった「オルタナティブデータ」を解析し、リアルタイムな経済統計の開発、生活者の消費行動や企業活動をより早く正確にとらえるデータソリューションの提供に取り組んでいます。POS データやクレジットカードなどの決済データ
AWS Lambda関数をlambrollとGitHub Actionsでデプロイしてみた ~ fujiwara-ware OSS ~ | DevelopersIO
クラスメソッドは2024年に5つのOSSに対して支援を実施しました。 当方が推薦して選定された @fujiwara さん作による Amazon ECSのデプロイツールであるecspressoについては、先日紹介記事をかきました。 本記事では、 ecspresso の姉妹プロダクトとも言える、AWS Lambdaのデプロイツール lamboll について、基本的な使い方とGitHub Actionsからデプロイする方法について紹介します。 lambrollはミニマリストのためのAWS Lambdaデプロイツール GitHubのプロジェクトページから lambroll の概要を引用します lambroll is a minimal deployment tool for AWS Lambda. lambroll はLambda関数のデプロイに必要な最小限の機能しか提供しません。やっていることと
Amazon Web Services ブログ ベストプラクティス: AWS によるオブザーバビリティの実装 お客様は、クラウドベースのソリューションを導入する際に、システムが円滑に稼働していることを確認し、問題が発生したときに迅速に修正できるようにする必要があります。しかし、オブザーバビリティを特に企業間をまたがって数十から数百のサービスが関わるような大規模に展開することは、簡単にはいかない場合があります。そのため、お客様はベストプラクティスの推奨事項、ツールの選択に関するガイダンス、そして最も重要な、オブザーバビリティを開始するための段階的なプロセスを求めています。AWS での堅牢なオブザーバビリティ戦略を実装するプロセスを簡素化するために、ベストプラクティスガイドをまとめました。この記事では、ガイドで取り上げられているトピック、ガイドの活用方法、およびガイドへ貢献する方法について説明
あらためて、じっくり動かすFargate
自分でECS/Fargateやその周辺リソースのインフラ構築・整備をしたり、まわりのインフラ強くないチームメンバーがデバッグに苦戦する様子を見ながら、やっぱりECSは登場するリソースがちと多かったり役割分担がとっつきにくかったりするよなぁと思っていました。 漠然とそんなことを思っていた頃、社内で自分の属するグループに勉強会が爆誕し「これはECSの話するしかないのでは」と思い立ち...そのまま2ヶ月ほど経過してしまいました。というわけで社内アドベントカレンダーに登録し、締切駆動執筆することにしました。というわけで この記事は LITALICO Engineers Advent Calendar 2023 の18日目の記事です。 はじめに この記事では、ECS、特にFargateを使ったWebサーバの構築を、基礎からハンズオン的に組み上げていく内容になっています。ECSタスクやタスク定義、サー
AWS Resource Explorer と AWS CloudTrail を使用して、AWS リソースへの一貫したタグ付けを行う | Amazon Web Services
Amazon Web Services ブログ AWS Resource Explorer と AWS CloudTrail を使用して、AWS リソースへの一貫したタグ付けを行う 組織の目的に応じたリソースタグを一貫して適用することは、簡単ではないケースがあります。例えば、正確な原価配分や細かなアクセス制御などを行いたい時です。また、開発者が開発やテストの初期段階で作成した別環境のリソースをクリーンアップする時に、問題に直面することもあるでしょう。適切なタグ付けがされていないと、組織から離れた開発者が作成したお試しリソースを特定したり、プロジェクトが終了した際にリソースをクリーンアップするのが難しくなります。 AWSリソースへのタグ付けは、ワークロード開発の初期段階で見落とされがちです。開発者にタグ付与ルールを守らせるのに苦労するユーザーもいます。AWS リソースに対して正確で意味のある
ecschedule用のYAMLファイル専用リポジトリを解体して、各アプリケーションのリポジトリへ移管した話 - コネヒト開発者ブログ
プラットフォームグループでインフラエンジニアをしている @laughk です。 今回は、当社の ECS Scheduled Task の管理リポジトリを解体し、各アプリケーションのリポジトリへ移管した話を紹介します。 背景 なぜ一元管理しているリポジトリを解体したのか ECS関連のデプロイ・リソースの管理状況が変わった ecschedule の運用の安定し、プロダクトのリポジトリから独立している状況が煩わしくなった 解体から移管の概要 解体から移管の際に意識・工夫したこと git log は git filter-repo を使って保持した状態で移管 コードだけ移管するのではなく CI/CD による自動化もセット Pull Request 作成時に行うジョブ mainブランチマージ/tag push時に行う適用のジョブ デプロイで扱うCLIツールは aqua で管理 バッチ専用リポジトリを
はじめに この記事はre:Invent 2023初日のアップデートをまとめていく記事です。 https://twitter.com/shimagaji さんのツイートをまとめました。 GitHubにもあります。 AWS Black Belt Online Seminar 2023 年 AWS re:Invent 速報 AWS Black Belt Online Seminar 2023 年 AWS re:Invent 速報 Redshift provisioned concurrency scaling and serverless autoscaling now supports Create Table As Select (CTAS) Redshiftの同時実行スケーリングとサーバーレス自動スケーリングにて、Create Table As Select（CTAS）クエリがサポートされ
サルソニード様の AWS 生成 AI 事例「Amazon Bedrock と Amazon Kendra の RAG 環境で法律関連オウンドメディア記事作成を効率化」のご紹介 | Amazon Web Services
Amazon Web Services ブログ サルソニード様の AWS 生成 AI 事例「Amazon Bedrock と Amazon Kendra の RAG 環境で法律関連オウンドメディア記事作成を効率化」のご紹介 本ブログは株式会社サルソニード様と Amazon Web Services Japan が共同で執筆いたしました。 みなさん、こんにちは。AWS ソリューションアーキテクトの小林大樹です。 昨今、生成 AI を活用して業務効率化を図るお客様が増えています。特に、大量のテキストデータを扱うマーケティング業務では、記事作成や校正、リライトなどのタスクを生成 AI に任せることで、人的リソースを削減し、本来のマーケティング活動に注力できるようになってきました。 今回は、Web マーケティングのワンストップソリューションを提供されている株式会社サルソニード様が、Amazon B
Amazon Elastic Container Service のレジリエンスと可用性を Dive Deep | Amazon Web Services
Amazon Web Services ブログ Amazon Elastic Container Service のレジリエンスと可用性を Dive Deep はじめに この投稿では、Amazon Elastic Container Service (Amazon ECS) におけるアーキテクチャの原則について詳しく説明し、Amazon ECS におけるアプリケーションの高可用性とレジリエンス(回復力)を実現しやすくする機能のいくつかを概説します。Amazon ECS が AWS の可用性と回復力のパターンをどのように活用するように設計されているのか、そして Amazon ECS API などを利用してそうした考え方をどのように簡単に利用できるようになっているのかについて見ていきましょう。これにより、お客様のソリューションの要求に最適な Amazon ECS 構成と機能を選択できるようにな
CodeBuildでGitHub Apps使えるようになってアツい｜Productivity Weekly(2024-08-28,21)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2024-08-21, 2024-08-28 合併号です。 今回が第 164 回目です。過去の記事はこちら。 news 📺 Notice of upcoming deprecations and breaking changes in GitHub Actions runners - GitHub Changelog GitHub Actions における、今後半年以内に非推奨となる機能や破壊
Container Threat Detection and Response for AWS Fargate with Sysdig | Amazon Web Services
AWS Partner Network (APN) Blog Container Threat Detection and Response for AWS Fargate with Sysdig By Victor Hernando, Sr. Technical Marketing Manager – Sysdig By Ranjit Kalidasan, Sr. Solutions Architect – AWS Organizations are moving to containerized environments at exponential speeds to free developers from day-to-day host-management so they can focus on building and deploying modern applicatio
こんにちは！サーバーサイドエンジニアのkurisuです。 2024年06月に、B/43あとばらいチャージの裏側でサービス提供していただいている事業者の移行を行いました。その際、返済データのリコンサイルバッチの設計と実装を担当しました。 外部サービスとのデータ連携における不整合は、多くのシステムで避けられない問題です。 本記事では、B/43のあとばらいチャージ機能での事例をもとに、リコンサイルの重要性と実装時の検討ポイントをご紹介します。 リコンサイルとは 外部サービス連携における課題と不整合の要因 1. 自社から外部サービスへの通信エラー 2. Webhook通知の不達や遅延 外部サービスにおけるリコンサイルができる条件 リコンサイルバッチの実装時の検討ポイント 前提 1. 外部サービスとのデータの不整合箇所の洗い出し 2. データ量と処理時間/実行頻度 3. 不整合検知時の対応 4. エ
こんにちは。サーバーサイドエンジニアの @atolix_です。 今回は37signalsが公開しているThrusterを、メドピアで本番運用をしているアプリケーションのkakariに導入してみました。 kakari.medpeer.jp Thrusterとは Thrusterはアセット配信やX-Sendfileのサポートといった機能を持ったGo言語製のHTTP/2プロキシです。 詳細な設定不要でRails標準のPumaサーバーと組み合わせて動作して、nginxを構成に加えた時と同様のリクエスト処理を行うことが可能です。 github.com www.publickey1.jp 導入前の状況 導入以前のkakariは以下のような構成を取っていました。 アセット配信の為にALBの背後にnginxを置いています。 今回は管理コストを下げる為に、nginxを剥がしてThrusterからアセット配信
2023年12月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 その1 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 11月と12月はアップデートの量が多いので、それぞれ2回に分けてお送りします。12月前半は73本となりました。時期的にAI/MLの内容が多くなっている感じです。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊A
Announcing updates to the AWS Well-Architected Framework guidance | Amazon Web Services
AWS Architecture Blog Announcing updates to the AWS Well-Architected Framework guidance We are excited to announce the availability of an enhanced AWS Well-Architected Framework. In this update, you’ll find expanded guidance across all six pillars of the Framework: Operational Excellence, Security, Reliability, Performance Efficiency, Cost Optimization, and Sustainability. In this release, we upda
こんにちは。シンプルフォーム株式会社 にてインフラエンジニアをしています、山岸です。 社内向けに運用しているデータ分析基盤について現状抱えているいくつかの課題を克服すべく、最近は更改に向けた検証に取り組んでいます。今回は取り組みの一つである「AWS Glue と Apache Iceberg によるデータレイクテーブル構築」についてご紹介したいと思います。 概要 当社ではデータ分析基盤の ETL 処理に AWS Glue を使用しています。社内のデータ分析業務等のため、RDS データベース等のデータソースから日次で S3 上に構築された DWH に連携しています。 現行のデータ分析基盤では、DB テーブル上のデータを毎日全件洗い替えています。このような処理方法は ETL 実装や問題発生時の復旧が簡単である一方、ETL 処理のコスト効率が悪く、データ量の増加に伴って処理時間も長くなっていきま
オンライン自習室アプリを個人で開発した件
はじめに 私は、「アプレンティス」の2期生として、現時点で約6ヶ月間、プログラミングの学習をしています。 そのカリキュラムの中で、「Sabo Learn（サボラーン）」というオンライン自習室を提供するWebアプリをリリースしました。 前置きとして、開発期間は約2ヶ月間です。（平日は仕事をしているため、実稼働はもっと少なく、約500時間が開発に使える時間でした。） また、「誰かの課題を解決する」というテーマで、実際に使ってもらえるプロダクトを目指して開発しておりますが、それと同時に、自身の転職活動のポートフォリオでもあります。 そのため、随所に、「どうしてわざわざそんな技術を使ったの？」「インフラのスペック過剰じゃない？」といったツッコミどころがあるかもしれませんが、そのほとんどは「自分が知らない技術をキャッチアップしたかったから」か、「これくらいのことなら実装できます」というアピールのため
概要 AWS Copilot CLI Amazon ECS デベロッパーツールの概要を基に整理します。 AWS Copilot CLI (コマンドラインインターフェイス) は、Amazon ECS 上のコンテナや環境にパッケージ化されたアプリケーションのデプロイと操作をソースコードから直接行えるようにする包括的なツールです。AWS Copilot を使用すると、AWSと Amazon ECS 要素(Application Load Balancer、パブリックサブネット、タスク、サービス、クラスターなど)を理解しなくても、これらの操作を実行できます。AWSユーザーに代わって Copilot が作成するAWSリソースは、ロードバランサーウェブサービスやバックエンドサービスなどの独善的なサービスパターンから、コンテナ化されたアプリケーションが即時に本番稼働できる環境を提供します。AWS Cod
AWS CloudFormation のデプロイを楽観的な安定化で高速化した方法 | Amazon Web Services
Amazon Web Services ブログ AWS CloudFormation のデプロイを楽観的な安定化で高速化した方法 はじめに AWS CloudFormation を利用するお客様から、リソースプロビジョニングの内部処理や、AWS マネジメントコンソール や AWS Command Line Interface(AWS CLI) と比べてリソースまたはスタックのプロビジョニングに時間がかかる理由について質問をいただくことがあります。 そこで、この記事ではCloudFormation におけるリソースのプロビジョニングに影響する様々な要因について述べます。記事では特に、 CloudFormation やその他のInfrastructure as Code (IaC) ツールが信頼性の高いデプロイを確実に行うためのリソースの安定化について詳しく説明します。 また、CloudFor
本記事は AWSアワード記念！夏のアドベントカレンダー 16日目の記事です。 🎆🏆 15日目 ▶▶ 本記事 ▶▶ 17日目 🏆🎆 こんにちは、坂本です。 今年の 2024 Japan AWS All Certifications Engineer に選ばれましたので AWSアワード記念！夏のアドベントカレンダー を機にブログ初投稿になります。 最近、Amazon Simple Email Service（以下：SES） の承認ポリシーを設定する機会があったので、今回は備忘もかねて書いてみます。 はじめに SES は API エンドポイントまたは SMTP インターフェイス を利用してメール配信を行えるサービスです。SES を利用するためには検証済みIDとしてメールアドレスもしくはドメインを作成します。IDステータスが検証済みになっていれば利用可能です。承認ポリシーは検証済みIDの詳
[Auth0]Next.jsスタンドアロンモードでフロントエンドをAPI GatewayとLambdaのサーバーレス構成にしてデプロイしてみた | DevelopersIO
[Auth0]Next.jsスタンドアロンモードでフロントエンドをAPI GatewayとLambdaのサーバーレス構成にしてデプロイしてみた 先日「Next.jsで生成した静的ページに認証を追加してみた」の記事で、Next.js+SSGで生成した静的ファイルをCloudFront+S3で公開しました。 S3で公開するために、わざわざフロントエンド資材をBuild&Exportしていたわけですが （Auth0SDKもクライアントサイド用のSDKに変更せざるを得なかった） ここで疑問が生まれました。 せっかくNext.jsを使うんだからレンダリング戦略はSSRを採用したい SSRなフロントエンドをサーバーレス構成でデプロイすることは出来なんだろうか🤔 この疑問に対して、AWS AmplifyやVercel、Netlifyあたりが有力な選択肢になるでしょう。 しかし、今日はフロントエンドを敢
![[Auth0]Next.jsスタンドアロンモードでフロントエンドをAPI GatewayとLambdaのサーバーレス構成にしてデプロイしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8e81bc75025d4e88341afa9e9fc9af0a236024e2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F10%2FAuth0ByOkta.jpg)
CeleryのMessage Priorities機能を利用した処理遅延の低減 - Nealle Developer's Blog
こんにちは、SREチームの宮後(@miya10kei)です。 バイクに乗っていて気持ちが良い季節になってきましたね🌸 メッセージキューを利用した非同期タスクを扱っていて、誰しも優先度順にタスクを処理したいなと思ったことがあるのではないでしょうか？ 今回はCeleryの機能を利用して実現することができたので紹介したいと思います。 Celeryってなに？ Celeryは分散メッセージキュー機能を提供するPythonベースのOSSです。 メッセージキューのBrokerとしてRedisやRabbitMQ、Amazon SQSなどを使用でき、分散環境での非同期タスクの実行を実現しています。 公式サイトを引用すると次の説明になりますね。 Celery is a simple, flexible, and reliable distributed system to process vast amou
SRE チームの市川恭佑です。 今回はコンテナに関連するDevOpsツールを作った話です。ecresolve と書いて「イーシーリゾルブ」と読みます*1。 github.com ecresolve は、ざっくり言うとコンテナイメージのタグが上書きされる前提で、複数タグを指定すると一番先頭で見つかったものを出力するツールです。 基本的な使い方としては、たとえば dog と cat のタグのみが存在する ECR リポジトリ animal があるとき、以下のコマンドを実行すると標準出力に dog が出力されます*2。 ecresolve monkey bird dog human cat --repository-name=animal --format=tag-only # dog なお、本記事の大前提として、もちろん本番環境において、特にお客様のデータを取り扱うようなコンポーネントについては
AWS ECS で実行するバッチ処理を Cluster Auto Scaling を使ってコスト最適化する - Hatena Developer Blog
システムプラットフォームチームで SRE をしている id:chaya2z です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の6月号です。先月は id:MysticDoll さんの Postfixのログ監視で注意すべきSMTPのステータス仕様について でした。 ECS で実行するバッチ処理を、インスタンス数を最適化する仕組みである ECS Cluster Auto Scaling を使ってコスト最適化した取り組みを紹介します。 ECS の起動タイプに EC2 を使う背景 はてなでは、ECS の起動タイプとして Fargate ではなく EC2 を使用しているサービスがあります。そのサービス例として、バッチ処理があります。バッチ処理のジョブには数秒・数分で終わるものもあれば、数時間かかるものがあります。 EC2 起動タイプを選ぶ理由は、タスク終了までのタイムアウト待
当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の19日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマは『AWS App Runner』です。 はじめに 私は2022年にAWS App Runner(以後 App Runner)の入門記事を書いており
Savings Plans 購入後に忘れずに設定したい3つの通知設定 - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 AWS のコスト最適化で最も有名なサービスであろう Savings Plans を購入後に、忘れずに行いたい通知及び監視設定について改めて記載します。 はじめに 余談 2020年1月6日 Savings Plans の利用率を確認及び通知する方法 2020年11月6日 Savings Plan が有効期限と予約期限の通知アラートに対応しました リザーブドインスタンスについて SP 購入後に忘れずに設定したい3つの通知設定 1. 有効期限切れの通知 設定方法 実際に送付された通知の例 AWS 公式ドキュメントの紹介 2. AWS Budgets による使用率の監視通知 どのように運用するのか？ 設定方法 実際に送付された通知の例 運用上の注意点 3. AWS Budgets によるカバレッジの監視通知 どのように運用するのか？ 設定方法 実際に送付された通知
Dockerのビルドが最大40倍高速になる「Docker Build Cloud」提供開始 Appleシリコン・AWS Graviton用ビルドにも対応
この記事は新野淳一氏のブログ「Publickey」に掲載された「Dockerのビルドが最大40倍高速になる「Docker Build Cloud」提供開始。Appleシリコン/AWS Graviton用のビルドにも対応」（2024年1月25日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Docker社は、クラウド上で高速にDockerコンテナのビルドを実行する新サービス「Docker Build Cloud」の提供を開始しました。 同社は昨年（2023年）10月に開催したイベント「DockerCon 23」で、次世代のDocker Buildを開発中であることを明らかにしていました。今回提供が発表されたDocker Build Cloudはこの、次世代のDocker Buildが正式サービス化されたものです。 Docker Build Cloudは、そのサービ
こんにちは。@dtaniwakiこと谷脇です。 今年、JMDCではアドベントカレンダーに参加しています。 qiita.com 本記事は、JMDC Advent Calendar 2023 24日目の記事です。 私は産業保健向けのサービス「Pep Up for WORK」の開発に携わっています。「Pep Up for WORK」は社員一人ひとりを元気にし、活気ある組織作りを実現することを目的としたサービスです。 Pep Up for WORKの機能の１つとして、パルスサーベイというものがあります。継続的に簡易的なアンケートを取得することで、組織や従業員のリアルタイムな状態の変化を把握し、組織の改善施策に活かすことができる機能です。 この機能では従業員に対して一斉にメールを送信してアンケートの回答を集めるため、平常時に比べてアクセスが短時間に集中してしまうという特徴があります。アクセスが集中し
2024年2月1日に開催された「第1回 AWSコスト削減天下一武道会」。事業会社の立場でコスト削減事例を披露したのはフリマアプリ「SNKRDUNK（スニーカーダンク）」を運営するSODA CTOの林 雅也さんだ。「支配的なコスト」の削減を意識した具体策はもちろん、スタートアップで後回しになりがちなコスト削減を進めるために必要な覚悟について説明した。 サービスの急成長でAWSのコストも3倍以上に コスト削減をサービスとして展開するDELTA 丹哲郎CTOのセッションに続き（関連記事：AWSのコスト削減は全員で楽しくやろう DELTAが事例とノウハウを披露）、「節約は技術！削減は芸術！何より必要なものは覚悟！」というタイトルで、コスト削減事例を披露したのはSODA CTOの林雅也さん。冒頭、「ボトルネックから潰す」「『覚悟』を持つ」という2つのキーワードを掲げた林さんは、自己紹介・会社紹介から
なぜ今コンテナなのか【AWS Black Belt】
本動画の資料はこちら https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2024_Why-Container-Now_0630_v1.pdf 【動画の対象者】 コンテナ技術に興味はあるけど、そもそもなぜやるのか、どこから始めればいいかわからない方へ。 この動画では、AWSの主要なコンテナサービスであるECS(Elastic Container Service)とEKS(Elastic Kubernetes Service)について、そもそも論をふくめて解説します。 【スピーカー】 荒木 靖宏 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 【目次】 0:00 タイトル 0:20 講師紹介 0:35 コンテナは生産性を上げるための自然な選択 1:30 78%の新規アプ
Amazon ECS now supports AWS Graviton-based Spot compute with AWS Fargate - AWS
Amazon ECS now supports AWS Graviton-based Spot compute with AWS Fargate Amazon Elastic Container Service (Amazon ECS) now supports AWS Graviton-based compute with AWS Fargate Spot. This capability helps you run fault-tolerant Arm-based applications with up to 70% discount compared to Fargate prices. AWS Graviton processors are custom-built by AWS to deliver the best price-performance for cloud wo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ecscheduleを触ってみる！(v0.11) - iimon TECH BLOG
AWS Step Functions で同時実行数制御を行う方法
ECS(Next.js)の本番リリース時間を半分以下にしてみた
ベストプラクティス: AWS によるオブザーバビリティの実装 | Amazon Web Services
【AWS】AWS re:Invent 2023 初日のアップデートをまとめてみた - Qiita
外部サービス連携におけるリコンサイルの重要性と実装時の検討ポイント - inSmartBank
RailsアプリケーションにThrusterを導入する - メドピア開発者ブログ
AWS Glue × Apache Iceberg で構築する更新可能なデータレイクテーブル
AWS Copilot CLIを試してみた - Qiita
AWS SES の承認ポリシーを設定してみた - NRIネットコムBlog
コンテナイメージのタグをよしなに探すツールを作りました - KAYAC Engineers' Blog
AWS入門ブログリレー2024〜AWS App Runner編〜 | DevelopersIO
サーベイメール一斉送信の負荷対策 - JMDC TECH BLOG
サービスの急成長でAWSコストも3倍に 覚悟と根性でコストは減ったのか？