こんにちは、最近はAWS Control Towerばかり触っている上野です。 Control Towerの検証を進める中で色々と中身が見えてきたこともあり、個人的に嬉しいポイントと注意ポイントをまとめてみます。 導入検討をされている方、参考となれば幸いです。 Control Towerとは？ 詳細は以前書いた記事でまとめています。 東京上陸！AWS Control Towerを触ってマルチアカウント管理のベストプラクティスを理解する ～セットアップ編～ - NRIネットコム Design and Tech Blog 【Part2】東京上陸！AWS Control Towerを触ってマルチアカウント管理のベストプラクティスを理解する ～運用編～ - NRIネットコム Design and Tech Blog AWSのベストプラクティスに基づいたセキュアな状態の新規アカウントのセットアップと
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（前編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し，新しく検閲システムを開発したお話になります． こちらのエントリーで紹介されている機械学習を用いた検閲システムの技術的な内容になります． ※ 検閲システムの細かい要件や内容については本エントリーでは多くは触れないのでご了承下さい． tech.connehito.com はじめに 今回のエントリーは内容が盛り沢山になっているので，前編と後編の2つに分けて紹介することにします． 前編：SageMaker TrainingJobを用いたモデル学習を行い，SageMaker Experimentsに蓄積された実験結果をS3に保存するまでの話 前回紹介したテックブログ「SageMak
モノリシックなRailsアプリケーションで、APIのエンドポイント毎にSLOを設定する - Repro Tech Blog
こんにちは、@r_takaishiです。今回は、モノリシックなRailsアプリケーションが提供するAPIについてエンドポイント毎にSLOを設定できるようにしたので紹介します。 解決したい問題 ReproではRailsアプリケーションが様々なAPIを提供しています。このとき、APIのAvailabilityやLatencyについて可視化して障害が起こっていないか、パフォーマンスが低下していないかを調べることがあります。また、APIについてSLOを設定し、サービスの信頼性を保ちつつ開発を行うこともあるでしょう。 Reproでも可視化やSLOの設定は行ってきました。しかし、それらの対象がALBのTargetGroup単位だったり、APIを提供するECS Service単位でした。このような単位だと、API全体についての状況は分かりますが、個々のAPIについての情報は得られません。例えばエンドポイ
Amazon S3のイベント通知は「稀に失われる」から「少なくとも1回配信」になっていました | DevelopersIO
こんにちは。サービス部の武田です。Amazon S3 イベント通知は、以前は「稀に失われる」と書かれていましたが現在は「少なくとも1回配信」となっています。ドキュメントの更新履歴を追ってみました。 こんにちは。サービス部の武田です。 AWSではサービスのアップデートなどによって、それまでの常識やベストプラクティスは日々変化します。Amazon S3には イベント通知 という機能があり、オブジェクト作成や削除などをトリガーとして、Lambda関数などを実行できます。 さてこのイベント通知ですが、「たまに抜けることがある」という仕様上の注意がかつて存在しており、頭を抱えた開発者も多いのではないでしょうか。とはいえそれが常識でした。「かつて」と書いたように、実は現在の仕様ではその部分は削除され、代わりに At least once（少なくとも1回配信） となっています。 最近まで知らなかったので
Summary of the Amazon Kinesis Event in the Northern Virginia (US-EAST-1) Region
November, 25th 2020 We wanted to provide you with some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on November 25th, 2020. Amazon Kinesis enables real-time processing of streaming data. In addition to its direct use by customers, Kinesis is used by several other AWS services. These services also saw impact during the event. The trig
こんにちは、上野です。 みなさん、AWSアカウントの初期セットアップはどうやっていますでしょうか。私も以下のような記事を書きましたが、いざすべてのAWSアカウントで毎回やるとなると大変ですよね。 tech.nri-net.com AWS Cloud Development Kit (CDK) を使用してAWSアカウントの初期セットアップができるBaseline Environment on AWS(BLEA) を使ってみたのでその紹介となります。 BLEAとは？ シングルアカウントでセットアップする Chatbotの準備 認証情報の準備 初期設定 デプロイ 作成されたリソースの動作確認 カスタマイズしてみる 通知するConfigルールを増やす エントリポイントの修正 まとめ BLEAとは？ 以下GitHubより Baseline Environment on AWS(BLEA) は 単独の
AWSのセキュリティガードレールをGCPに導入するために模索してみた - Adwaysエンジニアブログ
こんにちは。かわばたです。最近は居酒屋で飲食したあとに個人情報を紛失するニュースをよく聞くようになりました。私自身は会社の個人情報を持つことはないですが、会社で支給されているPCを持っている時は、運転と同じで「飲んだら持つな、持つなら飲むな」を心がけてます。「飲んだら持つな」と言われても居酒屋に置いていくわけには行かないので、基本的に飲まないのですが。。。閑話休題。 私が所属しているチームでは、AWSでのセキュリティガードレールの実装と運用を担当しています。 弊社ではデータ活用などが増えGCPを選択しているプロジェクトも多く存在しており、GCP に対するセキュリティやガードレール敷設も必要になってきます。 今回の記事はその仕組みをGCPに導入するために模索したときの内容となります。 AWSのセキュリティガードレールの運用 手動修復 自動修復 通知の仕組みの調査 AWSの通知の仕組み AWS
SREチームの長田です。 今回は、カヤックのメンバーが業務で使うために開発・公開しているOSSなプロダクトをまとめて紹介しようという企画です。 KAYAC organization以下にあるものだけでなく、在籍中のメンバーが作ったものもひっくるめて、実際に業務で使用しているものを中心に 紹介しています。 以下の3つのカテゴリに分けて記載しています。 各カテゴリ内はアルファベット順です。 ツール編 人間が手動で実行するもの アプリケーション編 どこかに常駐して、イベントを受け取ると動作するもの ライブラリ編 ツールやアプリケーションから参照されるもの 集めてみたらそこそこの量になったので、本記事では詳細な説明は省いています。 GitHubリポジトリのURLや関連記事のリンクを併記していますので、より詳しく知りたい場合はそちらを参照ください。 (...) 内はそのプロダクトで使用している主なプ
AWS Compute Blog Introducing AWS Lambda Destinations Today we’re announcing AWS Lambda Destinations for asynchronous invocations. This is a feature that provides visibility into Lambda function invocations and routes the execution results to AWS services, simplifying event-driven applications and reducing code complexity. Asynchronous invocations When a function is invoked asynchronously, Lambda s
[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 先日 (2020/06/10) 開催しました AWS Black Belt Online Seminar「サーバーレス イベント駆動アーキテクチャ」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200610 AWS Black Belt Online Seminar サーバーレスイベント駆動アーキテクチャ AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. オーダーサービスの例をとると、非同期になったことにより在庫が結果としてなかったなどの応答はどうやってクライアントに通知するべきでしょうか？ A. このような場合に備えて補償トランザクション
![[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/42a8e52abaec9c9a8afbb465faacf28c1b13ec5c/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F06%2F16%2FThumbnail-1-1119x630.png)
こんにちは。インフラエンジニアの永井(shnagai)です。 最近、家族ノートという「ママリ」内の検索データとQ&Aデータ(現在開発中)を可視化したデータ分析サービスの立ち上げに携わっています。 info-kazokunote.mamari.jp 今回は、家族ノートで使っているデータ基盤の一部であるBigQuery+StepFunctionsで作ったデータレイクの仕組みについてご紹介します。 内容は、ざっくりとこんな話を書こうと思います。 データ基盤作りに至った経緯 AWS→BigQueryにデータ移送するアーキテクチャのpros&cons StepFunctions+Embulk(Fargate)を利用したデータレイクの仕組み データ基盤作りに至った経緯 コネヒトには大きく分けると2つのデータセットがあります。 DB(Aurora)にあるアプリケーションのデータ(業務データやマスターデー
【セッションレポート】サーバーレス開発のベストプラクティス ～より効果的に、より賢く使いこなすために～（AWS-30）#AWSSummit | DevelopersIO
【セッションレポート】サーバーレス開発のベストプラクティス ～より効果的に、より賢く使いこなすために～（AWS-30）#AWSSummit はじめに AWS Summit Japan 2024 に参加しました。 「サーバーレス開発のベストプラクティス～より効果的に、より賢く使いこなすために～」のセッションレポートです。 セッション概要 サーバーレスアプリケーションの開発においては、AWS Lambda や Amazon API Gateway、Amazon DynamoDB、Amazon EventBrige など様々なサービスをビルディングブロックとして組み合わせることができたり、開発作業を効率化するツールチェインも多く提供されるようになってきました。AWS Step Functions は Amazon Bedrock と統合され、生成系 AI アプリケーションをシームレスに開発できる
MackerelでSLOとエラーバジェットを運用するためのツール shimesaba - KAYAC engineers' blog
この記事はMackerel Advent Calendar 2021の7日目です。 こんにちは、SREチーム所属の@mashiikeです。 皆様はSLOとエラーバジェットという言葉を聞いたことはありますか？ サービスの信頼性を保証することを目標するSRE（Site Reliability Engineer／Site Reliability Engineering）の領域に携わってる方なら聞いたことがあると思います。 今回は、SLOとエラーバジェットに関して、Mackerelを用いてサービス/サーバー監視をしている際に便利なツールとして shimesaba というものを作った話をします。 github.com はじめに 本題に入る前に、SLIやSLO, エラーバジェットという言葉について触れておきます。 これらの言葉は、ざっくりと説明すると以下のようになります。 SLI(Service Le
バッチ実行環境を EC2+cron から StepFunctions + ECSonFargate + EventBridge に移行しました｜deliku＠PRONI
バッチ実行環境を EC2+cron から StepFunctions + ECSonFargate + EventBridge に移行しました 新しく発足したシステム戦略推進チームの delikuです！ これまでPRONIアイミツシステムの定時バッチは、EC2 + cron で稼働していましたが、この度 cron + EC2 環境を脱却し、新しくマネージド環境に移行するようにしました。 システム戦略推進チームの役割各チームの開発プロセスにおける課題解決のサポートを行う 開発プロセスや技術における課題解決のサポートを行うことで各チームの向き合う領域へ集中できる環境を作る手助けをする 具体ではインフラ構成・リリース手順・自動テスト・バージョンアップ...など あるべきシステム境界を模索していく（寄せていく） ただ、手当たり次第に統合/分割はせず、時間軸やユースケースを見極める必要がある。そのた
pull requestを利用したいい感じのECS feature環境管理方法を考えた - Nealle Developer's Blog
はじめに SREチームの大木です。スノボの季節がもう終わりかけており、さみしい限りです。 feature staging環境*( 以下 feature環境 )自体のライフサイクルや管理をどうするか問題、なかなかどこも苦労していると思いますが、その中で今回それなりにいい感じの回答を出せたと思うので共有したいと思います。 *呼び方はpre-staging環境、pull request環境、テスト環境などいろいろありそうですが、私たちはfeature環境と呼んでいます。 どこが「いい感じ」なのかというと、PRのラベル付与によって環境の生成/削除を制御できる点です。PR画面上で楽々とfeature環境の管理ができたり、PR一覧からどのブランチでfeature環境が立っているかが分かりやすくなります。 feature環境について feature環境を当社のプロダクトであるPark Directの開発
この IAM ユーザーが過去30日間にアクセスした AWS サービスを一覧化してください と言われたら | DevelopersIO
コンバンハ、千葉（幸）です。 タイトルの通りですが、特定の IAM ユーザーが過去一定期間でアクセスした AWS サービスを一覧で見たい、と言われたら皆さんはどのようなアプローチをとりますか？ IAM ユーザーに限らず、グループ、ロール、ポリシーに置き換えてもよいです。 実は、以下の AWS CLI コマンドを使えば簡単にそのような要件に対応できます。 generate-service-last-accessed-details — AWS CLI 2.0.42 Command Reference get-service-last-accessed-details — AWS CLI 2.0.42 Command Reference これらのコマンドはまったく目新しい機能ではないですが、たまたま流れてきたツイートで存在を知りました。試したところ面白そうだったのでご紹介します。 1/ Hey
AWS Security Hubコントロールの有効無効をコード管理するのは予想のN倍大変だった話 - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。2023年3月にアンドパッドに入社し、最近は主にセキュリティ関係の改善に取り組んでいます。 SREの経験としては、アンドパッドへの入社前からSREとして働いており、雑誌に寄稿したり、個人ブログを書いたり、SREの勉強会に運営スタッフとして長年参加したりしてきました。9/29(金)開催のSRE NEXT 2023にも、運営スタッフとして参加しています。SRE NEXT 2023には、アンドパッドもブロンズスポンサーとして参加しています！ そこで今回は、SRE NEXT 2023のCFPに応募したネタ（今回、競争率すごく高かったんですよね……）を育てて、1つ記事を書いてみました。CFP落選供養スペシャルです。 背景 AWS Security Hubとは アンドパッドでのSecurity Hubの活用 目的 実現方法 課題 Security Hubのコントロー
初めに IAMのアクセスキーが漏洩してしまった際に、漏洩を検知して対象のIAMアクセスキーを削除する仕組みを作る必要があったのでその内容について記載します。 構成 Trusted Adviserのルールを利用してEventBridegeで検知し、SNSを利用して通知し、Step FunctionsとLambdaで検知したIAMアクセスキーを削除します。 構成としては以下のようになります。 ※この構成はTrusted Adviserがバージニア北部リージョンでしか情報を取得できない関係で、バージニア北部リージョンで作成する必要があります。 今回は以下のTrusted Advisor toolsを参考にしました。 Trusted Adviser Trusted Adviserでは有効化しておけば特に設定しておくことはないです。 「漏洩したアクセスキー」のルールを使用してIAMアクセスキーの漏洩
EventBridgeとAmplify + Stripeで 「イベント駆動」な Webサービスを開発する/aws-dev-day-2022
EventBridgeとAmplify + Stripeで 「イベント駆動」な Webサービスを開発する/aws-dev-day-2022
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
AWS Fargate Enables Faster Container Startup using Seekable OCI | Amazon Web Services
AWS News Blog AWS Fargate Enables Faster Container Startup using Seekable OCI While developing with containers is becoming an increasingly popular way for deploying and scaling applications, there are still areas where improvements can be made. One of the main issues with scaling containerized applications is the long startup time, especially during scale up when newer instances need to be added.
新卒研修として開発した「はてなピアスター」がSlack活用アワードで優勝しました - Hatena Developer Blog
こんにちは、id:arthur-1 です。Mackerel 開発チームでアプリケーションエンジニアをしています。2022年4月に新卒入社しました。 入社時のエンジニア研修の一環で、2022年の新卒エンジニア4人で「はてなピアスター」という社内向け Slack アプリを5日間で企画・開発しました。 現在でもこの Slack アプリが社内で利用されており、スタッフ同士が気軽に感謝や称賛を贈り合うオンライン上の新たなコミュニケーション機会を創出しています。 はてなピアスター＝ピアボーナス＋はてなスター はてなピアスターは、従業員同士で報酬を送り合う「ピアボーナス」という仕組みと、記事やコメントにスターをつけて気持ちを表現できる自社サービスの「はてなスター」を掛け合わせて生まれました。Slack アプリから、他のはてなスタッフに対して感謝のコメントを添えてスターを贈ることができます。 Slack
Amazon EventBridgeを使って簡単なAWS環境の監視システムを構築する #devio2022 | DevelopersIO
どうも！オペレーション部の西村祐二です。 DevelopersIO 2022 〜技術で心を揺さぶる3日間〜 にて「Amazon EventBridgeを使って簡単なAWS環境の監視システムを構築する」というテーマでお話ししましたので、動画・スライドを共有します。 発表したテーマである、Amazon EventBridgeを使って監視システムを作ろうと思ったきっかけは 現在、私が所属しているオペレーション部では、さまざまなオペレーション業務を効率化・自動化するための多くの仕組み（Lambda + Step Functions）がAWS上で動いています。そのシステムの一部には、過去の経緯で監視が入ってないものがあったりなどエラー時に気づけない課題があり、また、多くのシステムをコストや工数かけずにまとめて監視する方法を模索していました。 そこで、Amazon EventBridgeを使えば工数か
住信SBIネット銀行、ネットバンキング基盤をAWS東京/大阪リージョンで冗長構成、障害検知から5分以内に復旧 | IT Leaders
IT Leaders トップ ＞ 経営課題一覧 ＞ 事業継続 ＞ 事例ニュース ＞ 住信SBIネット銀行、ネットバンキング基盤をAWS東京/大阪リージョンで冗長構成、障害検知から5分以内に復旧 事業継続 事業継続記事一覧へ [事例ニュース] 住信SBIネット銀行、ネットバンキング基盤をAWS東京/大阪リージョンで冗長構成、障害検知から5分以内に復旧 2023年8月29日(火)日川 佳三（IT Leaders編集部） リスト 住信SBIネット銀行（本社：東京都港区）は2023年8月29日、インターネットバンキングシステムの可用性を高めるため、システム基盤のAmazon Web Services（AWS）をマルチリージョンで構成したと発表した。AWSの東京リージョンに障害が発生した際に、大阪リージョンに切り替えて業務を継続する仕組みで、障害検知から5分以内にサービスを復旧できるようになった。2
はじめに こんにちは。IT業界15年、Web系10年のアラフォーです。 以前エンジニアの仕事を中心にやって来たが、現在スペシャリストとチーム長として働いてます。 昨年の10月から、プロダクトソリューション部に異動し、現在SREチームでSREの取り組みを頑張っています。 SREの施策の一環として、インフラコストの削減を取り組んでいます。 当初、一つAWSのアカウント上で、月額10000ドル超えている状態から、現在月額約3000ドル未満になりました。 対応した内容はほぼ不要なリソースを削除しただけですが、コスト削減する際に、確認観点としてご参考になれば幸いです。 前提 弊社のサービスでは、現在すでに IaC (Infrastructure as Code)を導入しましたが、以前IaCという概念がなかったので、インフラの構築は全てコンソール上で手動で構築してました。 システムリニューアル後、リソ
バクラク事業部Platform Engineering部DevOpsチームの id:itkq です。CTO室という事業部横断のコーポレートエンジニアリング組織を兼務しています。早いもので今年も終わりが近づいてきました。Spotify 2023 Wrappedによると今年一番聴いたアーティストは結束バンドで、一番聴いた曲は『忘れてやらない』でした。 この記事は LayerXテックアドカレ 27日目の記事です。前回は yohei による FlutterアプリにおけるUI Component Architecture でした。次回は Tomoaki が担当します。今回は、勤怠関連の社内Slackアプリを開発して運用している話をします。 LayerXにおける勤怠と習慣 LayerXでは勤怠システムにAKASHIを採用しています。システム上の勤怠に加えて、次のような習慣があります。 出勤時に統一のS
エンジニアの業務効率をあげる！AWS CDKで作る本番Databaseを安全にクローンする方法 - AppBrew Tech Blog
こんにちは、AppBrewに業務委託で参加させてもらっているsnikiです。 本業ではヤフー株式会社でYahoo! JAPANアプリのバックエンド開発をやっています。 今回は、AWSのChatbot/Step Functions/CDK等を利用してAmazon Auroraをcloneするツールを作成したのでご紹介します。 背景 機能の説明 利用したAWSのサービスとシステム構成 この構成に至るまで slackのコマンドを受け付けるには cloneからmasking、instance class設定、通知まで Aurora Clone(Lambda) Aurora Masking(ECS) Modify Clone DB Instance Class(Lambda) Notify Slack(Lambda) 補足 なぜLamdaとECSが別れているのか インスタンスクラス変更のタスクは何？
営業部 佐竹です。 本日は、AWS 上のリソースを悪用され Crypto Currency （仮想通貨/暗号通貨）の採掘をされてしまわないように、利用者側にどのような対策がとれるのか、また実際に採掘を行われてしまった場合の対応について記載します。 はじめに キーワード 暗号通貨とその種類 採掘（マイニング） ウォレットへの送金 採掘悪用の概略図 悪用行為が増えている背景 ビットコインの高騰 イーサリアムの台頭 暗号通貨採掘悪用の攻撃経路 EC2 インスタンスに侵入し、侵入したインスタンス上で採掘を行う IAM Role を悪用し、悪意のある AMI から採掘用インスタンスを大量に横展開して採掘を行う 漏洩した IAM Credentials を悪用し、採掘用インスタンスを大量に横展開して採掘を行う 暗号通貨採掘悪用の防御手段 侵入させない SSH や RDP が意図せず解放されてしまいその
[2021年版]AWS Security HubによるAWSセキュリティ運用を考える | DevelopersIO
AWS Security Hubの特徴と運用方法についてまとめました。幅広いAWSサービスのセキュリティとベストプラクティスを守ることができるのでガンガン活用しましょう。 こんにちは、臼田です。 みなさん、AWSのセキュリティ運用してますか？(挨拶 AWS Security HubはAWS上のセキュリティイベント集約とセキュリティチェックを行うサービスです。今回はこのサービスにフォーカスしたセキュリティ運用を考えてみます。 ちなみにAmazon GuardDutyについても同じようにセキュリティ運用についてまとめたので以下もご確認ください。 AWSセキュリティ全体像 フォーカスしていく前に全体の整理をします。以下にざっくりとAWSにおけるセキュリティの要素について書き出してみます。 AWSレイヤー IAM管理 ネットワークセキュリティ 設定管理 OS/アプリレイヤー 不正プログラム対策 脆
![[2021年版]AWS Security HubによるAWSセキュリティ運用を考える | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dbe3f406587b5b6a944b210452de92d974859a3f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-security-hub.png)
Amazon Inspector と AWS Systems Manager を用いた脆弱性管理と修復の自動化 – Part1 | Amazon Web Services
Amazon Web Services ブログ Amazon Inspector と AWS Systems Manager を用いた脆弱性管理と修復の自動化 – Part1 このブログは Automate vulnerability management and remediation in AWS using Amazon Inspector and AWS Systems Manager – Part 1 を翻訳したものです。 AWS は最近、Amazon Elastic Compute Cloud（Amazon EC2）インスタンスと Amazon Elastic Container Registry（Amazon ECR）に保存されているコンテナイメージに継続的な脆弱性スキャンを実行するための新しい Amazon Inspector の提供を開始しました。これらのスキャンは、ソフ
こんにちは、CX事業本部の夏目です。 案件でAWSからSlackに通知を行う方法について調べる必要があったので、ブログにまとめてみました。 結論 (2021/12/07 17時追記) AWS Chatbot <- SNS Topic (<- CloudWatch Alarm / EventBridge): Slackに投げる部分までAWSにおまかせ。任意の文字列を送ることは多分無理。 Slack <- Lambda: 手段が2つある Incomming Webhook: 手軽。外部ライブラリは不要。任意の文字列を送信可能。 SDK (API): 任意の文字列の送信に加えて、ユーザー名やアイコンの変更も可能。 Slack <- EventBridge: EventBridgeでSlackのAPIにPostする。 何かを通知したいとき、CloudWatch MetricsやEventBridg
スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog
スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s
[新サービス] AWS User Notificationsで通知設定を試してみた | DevelopersIO
AWS マネジメントコンソールにサインインした際に新しい通知サービスの案内があったため試してみました。 新しい通知サービスとは AWS User Notifications であり、Amazon GuardDuty や AWS Health イベントなどの通知設定を一元的に設定・管理できるサービスでした。AWS User Notifications で通知設定を行うと AWS 管理の Amazon EventBridge ルールを作成してくれるようです。 2023.5.4 追記 What's New のアナウンスと AWS ブログが公開されました。 AWS User Notifications について ユーザーガイドは次のページです。ガイドの履歴を見ると 2023/4/20 には作成されていたようです。 Getting started with AWS User Notification
![[新サービス] AWS User Notificationsで通知設定を試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3cd8e20259a86e231ed6daa151fd1bc59fa63c4a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F11%2Faws-eyecatch.png)
失敗例から学ぶ Security Hub と GuardDuty の導入時の考慮事項 【資料公開】 | DevelopersIO
また、重要度以外では既に導入している企業のアウトプットや公開ブログなども参考にできます。 DevelopersIO でも次のブログなどで紹介されています。 【アップデート】AWS Security Hub の『基礎セキュリティのベストプラクティス』に新たに 9 個のチェック項目が追加されました | DevelopersIO AWS Security Hub の『基礎セキュリティのベストプラクティス』に 30 個のチェック項目が追加されました(2022 年 2〜4 月分) | DevelopersIO 例えば、次のようなコメントが掲載されています。 [EC2.22] 使用していないセキュリティグループは削除する必要があります 重要度 : Medium (コメント) 使用していないセキュリティグループを定期的に棚卸しすることで、意図しないセキュリティグループをリソースにアタッチする可能性を下げ
IAM アクセスアナライザー と IAM アクセスアドバイザー をもう二度と混同しないために絵をかいて理解してみた | DevelopersIO
コンバンハ、千葉（幸）です。 突然ですが問題です。 あなたは企業の AWS 管理者です。IAM アクセスアナライザー もしくは IAM アクセスアドバイザー の機能を活用して、適切なアイデンティティ管理に役立てようとしています。 次に示す選択肢のうち、上記の機能を適切に活用している（誤った記述がない）取り組みを表すものを、すべて 挙げてください。（10点） 開発ベンダーが利用する資材格納用の S3 がある。当該 S3 バケットが意図せぬ外部エンティティからアクセス可能となっていないか、 IAM アクセスアナライザーを用いて確認した。 90日以上いずれの AWS サービスへもアクセスを行なっていない IAM ユーザーは一時的に無効化したい。IAM アクセスアドバイザーの通知機能を有効化し、該当ユーザーが検知されたら SNS 経由で E メールを受信できるように設定した。 IAM アクセスアナ
S3バケットにファイルがアップロードされたのを起点に何かしらの処理を実行する、というのはAWSにおけるよくある(?)アーキテクチャです。例としてよく挙げられるのは以下のような、画像ファイルをアップロードしたらそのサムネイル画像を作成する処理です。 チュートリアル: Amazon S3 で AWS Lambda を使用する S3イベント通知 この際に使うのがS3イベント通知機能です。S3に関する様々なイベントが発生した場合に他のAWSサービスを起動させることができます。例えば上記サムネイル画像を作成する場合だと、ObjectCreate (All) のイベントでLambda関数を実行しています。 ですがこのS3イベント通知、時たま処理漏れすることがある、と言われています。そのため漏れが許容できない場合は、以下例の様に処理漏れしているファイルを検知して処理再実行する機構を用意するなどの措置が必
[アップデート] ついに AWS Chatbot が 200を超える Amazon EventBridge イベントに対応しました！ | DevelopersIO
ちゃだいん（@chazuke4649）です。 Slack & Chime ユーザー待望、ついに AWS Chatbot が 200を超える Amazon EventBridge がサポートする全AWSサービスのイベントに対応しました！ AWS Chatbot now expands coverage of AWS Services monitored through Amazon EventBridge Using AWS Chatbot with other AWS services - AWS Chatbot 何が嬉しいの？ 以前は、Chatbotのイベントサポートには、Config、GuardDuty、AWS Health、Security Hub、SSM しか含まれておらず、対象外のサービスは Lambdaを介する必要がありました。 それが本日より、Chatbotは、EventBr
深夜の定期バッチの監視 Webサービスのオフピーク時に重たい処理を実行させるというのは一般的なプラクティスといえます。 特に深夜〜早朝は多くのサービスでバッチ処理を実行させているのではないでしょうか。 Webサービスだけではなく、当然バッチ処理も監視して失敗したらそれを発見し対処したいです。 しかし、失敗を発見しても即座にユーザ影響がないので対応は後でも良いという場合、素朴に監視ルールを作るとバッチが失敗した深夜・早朝にアラートが発報されることになります。 発報されたアラートを見て「これは今すぐに対応してなくても良いな」と判断するのであれば、それは狼少年アラートといえるのではないでしょうか。 悪貨が良貨を駆逐すると言われるように、狼少年アラートがはびこれば良貨のアラートもいずれ無視されるようになってしまうことは容易に想像できます。 Datadogの timeshift 関数でアラートの発報
サーバレス初心者向け「AWS Lambda」「Amazon API Gateway」「Amazon EventBridge」を組み合わせたSlack通知
サーバレス初心者向け「AWS Lambda」「Amazon API Gateway」「Amazon EventBridge」を組み合わせたSlack通知：AWSチートシート AWS活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は「AWS Lambda」と「Amazon API Gateway」を使って、Slackにメッセージを送るAPIを作成する方法、「Amazon EventBridge」を利用して一定間隔でメッセージを自動送信する方法を紹介する。
Operating Lambda: パフォーマンスの最適化 – Part 1 | Amazon Web Services
Amazon Web Services ブログ Operating Lambda: パフォーマンスの最適化 – Part 1 Operating Lambda シリーズでは、AWS Lambda ベースのアプリケーションを管理している開発者、アーキテクト、およびシステム管理者向けの重要なトピックを取り上げます。この 3 部構成のシリーズでは、Lambda ベースのアプリケーションのパフォーマンスの最適化について説明します。 サーバーレスアプリケーションは、並列化と同時実行が容易であることから、非常に高いパフォーマンスを実現することができます。Lambda サービスはスケーリングを自動的に管理しますが、アプリケーションで使用する個々の Lambda 関数を最適化することで、レイテンシーを削減し、スループットを向上させることもできます。 本稿では、Lambda 実行環境のライフサイクルやコール
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Control Towerの嬉しいポイントと注意ポイント - NRIネットコムBlog
BLEA（CDK）を使用したAWSアカウントの簡単セットアップ - NRIネットコムBlog
カヤック発OSSカタログ - KAYAC Engineers' Blog
Introducing AWS Lambda Destinations | Amazon Web Services
家族ノートを支えるBigQuery+StepFunctionsで作るデータレイク - コネヒト開発者ブログ
AWSでアクセスキーが漏洩した時に検知・削除する仕組みを実装する - Qiita
AWS不要なリソースの削除を対応したのお話 - Qiita
勤怠をいい感じにする社内Slackアプリ #LayerXテックアドカレ - LayerX エンジニアブログ
AWS 環境における暗号通貨採掘悪用に備える - サーバーワークスエンジニアブログ
AWSからSlackに通知する方法についてまとめた | DevelopersIO
S3イベント通知 vs EventBridge 処理漏れ率を比べてみた | DevelopersIO
Datadogで深夜バッチの失敗アラートを営業時間に受け取る方法 - Classi開発者ブログ