AWS請求額管理の手間を減らす！Slack通知の仕組みを構築する方法 - Infcurion Tech Blog
Infraチームの中尾です。 2023年2月で入社してからちょうど1年が経ちましたが、相当密度の濃い1年を経験させていただきました。 入社してまもなくWallet StationのAWS移行や踏み台環境の移行をメインの業務として担当したので、短期間でAWSやAzureなどの知識が相当増えたと思います。 今後もインフラチームとしてプロダクトの安定稼働やトイルの削減を実施していきます。 今回のテーマはAWSの請求額を自動的にSlackに通知する仕組みを構築する方法についてです。 目的 別チームにAWSのコストを見たいと言われた際、毎月コンソールから見てレポートを取得するのが面倒くさいので、定期的にSlackチャンネルに通知するようにしたい インフラチーム以外の日頃のコスト意識を少しでも高めたい 前提 Cost Explorerを変更かつ各リソースを作成できる権限を持つユーザーが払い出されている
Amazon API Gatewayは「HTTP API」と「REST API」のどちらを選択すれば良いのか？ #reinvent | DevelopersIO
Amazon API Gatewayの新機能「HTTP API」 re:Invent 2019期間中、Amazon API Gatewayの新機能「HTTP API」が発表されました。現在プレビューとして、US East (Ohio), US East (N. Virginia), US West (N. California), US West (Oregon), Asia Pacific (Sydney), Asia Pacific (Tokyo), EU (Frankfurt), EU (Ireland)で提供されています。 HTTP APIはREST APIの上位互換というわけではなくAPI Gatewayのコアな機能に特化して低コストで利用したい場合に適した機能という位置付けになっています。つまりREST APIと比較するとできないことがいくつかあります。 本記事では以下のドキュ
AWS Lambda の上でいろんなWEB フレームワークを動かそう！ / Web Frameworks on Lambda
AWS Lambda はサーバーレスサービスの中で、compute処理を担うサービスになります。その役割はシンプルにロジックを実行することにあります。そして、その他の非機能要件についてはどうするかというと、他のAWSサービスに任せたりします。たとえばログは Amazon CloudWatch Logs、トレースは AWS X-Ray、認証認可は Amazon Cognito などなど。 その中でよく質問にあがるのが、オンプレミスやEC2で使っていたプログラミング言語用のフレームワークをそのまま Lambda関数で使いたい！どうすればよいですか？ というものです。 このセッションでは、そういう質問があがる背景から入り、AWS Lambda の機能によるうまいやり方を探っていきます。
「Lambda突然の死」「思わぬリソースが枯渇」 AWSしくじり先生 part.2
Cloud Operator Days Tokyo は、クラウドの運用者に焦点を当てた技術者向けの新しいテックイベントです。AWS環境の運用を手がけるアイレット株式会社のインフラエンジニア古屋氏が、実際にやってしまったしくじりを紹介。原因と対策を語ります。今回は「Lambda突然の死」「思わぬリソースが枯渇」というしくじりについて。part.1はこちら。 塵も積もれば…… しくじり3つ目に行く前にちょっと休憩を挟みまして、猫ちゃんの画像で癒されつつ……。ちょっと軽いネタを入れていこうかなと思います。 170万円とまではいかなくても「なんか請求高くない？」ということがあったかなと思います。請求でけっこう高い割合を占めるのは、やっぱりサーバ。EC2の起動している時間の料金ですね。なので節約のために使わないEC2を止めるということをされている方はけっこう多いかなと思っています。 とは言えEC2を
「Athenaで170万円請求」「EC2が復旧できない」 AWSしくじり先生 part.1
Cloud Operator Days Tokyo は、クラウドの運用者に焦点を当てた技術者向けの新しいテックイベントです。AWS環境の運用を手がけるアイレット株式会社のインフラエンジニア古屋氏が、実際にやってしまったしくじりを紹介。原因と対策を語ります。まずは「Athenaで170万円請求」「EC2が復旧できない」 というしくじりから。（全2回） しくじり先生 on AWS 古屋啓介氏（以下、古屋）：では「しくじり先生 on AWS」ということで、始めたいと思います。よろしくお願いします。今日は、AWS環境を使って日々運用していく中で発生した、しくじり、失敗事例。そしてそのしくじりの原因と、そこから得られた教訓についてお伝えしようと思います。 今日このお話を聞いたみなさんの中で「あ、うちの環境どうっだったかな？」と、思われる方もいらっしゃるかもしれません。今日お伝えすることの中で、ちょっ
爆速？！コンテナイメージからデプロイしたLambdaのコールドスタートについて検証してみた #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。 この記事はAWS LambdaとServerless Advent Calendar 2020の6日目 です。 先日のブログでご紹介したように、Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました。 従来のZIP形式と比較したメリットの１つとして、イメージサイズの上限が10Gまで許容されるという点があります。ZIP形式の上限はレイヤーと関数コードを合わせて250Mであり、サイズの大きなライブラリや機械学習モデルを利用する場合、この上限に抵触することもあったのではないでしょうか？パッケージフォーマットとしてコンテナイメージを選択することで、こういったユースケースにも対応できるようになりました。 ここで1つ疑問が浮かびます。イメージサイズの上限が10GBとのことですが、10GBの巨大イメージからLambdaがコールドスタート
Amazon SNS 通知を使用した Lambda 関数の呼び出し - AWS Lambda
Lambda 関数を使用して、Amazon Simple Notification Service (Amazon SNS) 通知を処理することができます。Amazon SNS では、トピックに送信されるメッセージのターゲットとして Lambda 関数がサポートされます。関数は、同じアカウントまたは他の AWS アカウントのトピックにサブスクライブできます。詳細なチュートリアルについては、「チュートリアル: Amazon Simple Notification Service での AWS Lambda の使用」を参照してください。 Lambda は、標準 SNS トピックの SNS トリガーのみをサポートします。FIFO トピックはサポートされていません。 非同期呼び出しの場合、Lambda はそのメッセージをキューに入れ、再試行を処理します。Amazon SNS が Lambda に到
Terraformで構築するAmazon SNSからAWS Lambdaを呼び出すためのトリガ - Qiita
アプリケーションはSQSの時と同様、Slack通知を行うアプリケーションにしています。 arvhive_fileでLambda関数用のzipファイルを作成して、生成したzipファイルをLambda関数としてアップします。 data archive_file "default" { type = "zip" source_dir = "src" output_path = var.output_path } resource "aws_lambda_function" "default" { filename = var.output_path function_name = var.service_name role = aws_iam_role.default.arn handler = "lambda_function.lambda_handler" source_code_hash
6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 - データエンジニアの酩酊日記
ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。 だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ
LambdaとFargateがさらに高速化？！MicroVMをわずか5ミリ秒で起動 Firecracker open-source innovation #OPN402 #reinvent | DevelopersIO
CX事業本部の岩田です。 先日Lambdaの内部アーキテクチャに関するブログを書きましたが、もう少し色々と理解を深めるべくFirecrackerに関するセッションを漁っているところです。今回紹介するセッションではFirecrackerのロードマップ紹介やデモが含まれており、Firackracerのスナップショット取得&復元技術を使うことでMicroVMがわずか5ミリ秒で起動するという衝撃的なデモを見ることができます。このスナップショット技術がFargateやLambdaの基盤に適用されれば、FargateのタスクやLambda実行環境のさらなる高速起動が期待できそうです。とても楽しみですね。 それでは早速セッション内容を紹介していきます。 資料 セッション動画 スライド Firecracker open-source innovation ※以後の画像はすべて上記スライドからの引用になりま
RDS Proxyを使ってAWS LambdaからRDBにコネクションプールで接続する | DevelopersIO
Amazon RDS Proxyはパブリックプレビュー機能です。 正式公開までに機能が大幅に変更される可能性があります。 昨年末に開催されたre:invent 2019でAmazon RDS向けの完全マネージド型で可用性の高いデータベースプロキシ「Amazon RDS Proxy」が公開されました。 コネクションプーリングや自動フェイルオーバーなどを完全マネージドで利用できます。 [速報]これでLambdaのコネプー問題も解決？！LambdaからRDS Proxyを利用できるようになりました(まだプレビュー) #reinvent RDS Proxyがもっとも威力を発揮するユースケースがAWS Lambdaからリレーショナルデータベースへの接続です。 このユースケースに特化したウェビナー ”Using Relational Databases with AWS Lambda - Easy C
【登壇資料】ServerlessDays Fukuoka 2019 で TypeScriprt と Jest を使ったサーバーレステストの話をしました #serverlessdays #serverlessfukuoka | DevelopersIO
登壇資料 私を含む、サーバーレスデベロッパーの皆様にテストコードをどんどん書いていってほしくて登壇しました。 ServerlessDays Fukuoka 2019 とは 2019年12月14日（土）LINE 福岡にて、ServerlessDays Fukuoka が開催されました。 ServerlessDays Fukuoka 2019 発表のポイント サーバーレステストのバイブル、t_wada さんの Testable Lambda Testable Lambda サーバーレスのテストで迷ったら、この資料を参考にすると良いです。 Node.js のテストにJestを使う AWS CDK でも採用されている Facebook 製テストツールの Jest。今回はコレを使ってテストを書いていきます。 Jest · ? Delightful JavaScript Testing 皆さんにテスト
[レポート] AWS Lambdaを使用したマイクロサービスの構築 #SVS343 #reinvent | DevelopersIO
CX事業本部の佐藤です。 re:Invent 2019 「Building microservices with AWS Lambda」のセッションレポートです。 セッション概要 Many developers have become familiar with building microservices on traditional compute offerings such as virtual machines and containers, but what about serverless? The "functions as a service" model behind AWS Lambda presents a number of unique differences while still providing many benefits that make it a
[レポート] あなたの知らないAmazon API Gateway #SVS212 #reinvent | DevelopersIO
こんにちは！DA事業本部の大高です！無事、ラスベガスから日本に帰国しました。 本記事はAWS re:Invent 2019のセッションレポートとなります。 概要 This session is an introduction to Amazon API Gateway and the problems it is solving. We walk through the moving parts of API Gateway, giving examples of possible use cases both common and not so common. You come away with a solid understanding of why you should use API Gateway and what it can do. このセッションは、Amazon API
[レポート] Step Functionsによるサーバーレスな画像処理ワークフローを作成するワークショップ #SVS340 #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 本エントリはAWS re:Invent 2019のセッションSVS340 Serverless image processing workflows at scale with AWS Step Functionsのレポートとなります。 セッション情報 概要 With AWS Lambda, you can write code to process images and files without provisioning servers. But at scale, how do you manage coordinating multiple parallel processing steps, catch errors and retry failures, and keep your code modular and maintainable? A
[レポート] サーバーレスアプリケーション向けネットワークのベストプラクティス Networking best practices for serverless applications #SVS404 #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 本エントリはAWS re:Invent 2019のセッションSVS404 Networking best practices for serverless applicationsのレポートとなります。 セッション情報 Serverless technologies such as AWS Lambda have removed the burden of server management, but what about networking? When should you put a Lambda in an Amazon VPC? How do you balance security vs. the flexibility offered by Lambda? What are the best practices for working with
[NEW]「Lambda-RDS」パターンももう怖くない！？フェイルオーバーももっと早くなるよ！ RDS Proxyがプレビュー公開されました！#reinvent | DevelopersIO
こんにちは、大阪オフィスのかずえです。現在ラスベガスで開催中のre:InventでAmazon RDS Proxyのリリースがアナウンスされました。（ただしプレビューです！） なにそれ？ 名前の通りRDS用のプロキシです。 スケーラビリティ、DB障害への耐久性、セキュリティの向上が期待できます。 現在のところRDS MySQLとAurora MySQLで利用可能です。RDS PostgreSQL と Aurora PostgreSQLは間も無くとのこと。 東京リージョンで早速使えます！ これまで アプリとDB(RDS)間はコネクションを張ることで通信します。 ですがこのコネクション、DBサーバーのメモリやCPUを食います。 例えばサーバーレスアーキテクチャーのアプリの場合、このコネクション数がものすごい数になることがあります。DBに負荷がかかってしまいます。遅くなったりスケーラビリティが制
![[NEW]「Lambda-RDS」パターンももう怖くない！？フェイルオーバーももっと早くなるよ！ RDS Proxyがプレビュー公開されました！#reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/098a01a332248d791825217579652e1b7f202bcb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_update_eyecatch.jpg)
[速報]これでLambdaのコネプー問題も解決？！LambdaからRDS Proxyを利用できるようになりました(まだプレビュー) #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 またまたLambda関連のアップデート情報です。 Lambda <-> RDSのDB接続を管理するために、RDS Proxyという新しい機能が利用可能になるというものです！ Using Amazon RDS Proxy with AWS Lambda なお、まだプレビュー段階ですですのでご注意下さい。 プレビュー版の注意事項はこちら [AWS] re:Invent 前に理解しておくべきベータ/プレビューサービスの扱いについて #reinvent 概要 Lambda実行環境ではコネクションプーリング機構が利用し辛く、RDSの最大同時接続数以上にLambdaが起動した場合にRDSヘの接続エラーが発生しやすい環境でした。このため、LambdaとRDS(B)の組み合わせは一般的にアンチパターンとされてきました。 今回発表されたRDS Proxyの機能を利用するとRD
検証環境のFargateのタスクを定期停止・定期起動してみた #Fargate | DevelopersIO
コカコーラ大好き、カジです。 お客様よりFargateを検証環境で複数構築していて、夜間停止したいとご要望をもらいました。 その方法について調査しましたので、ご紹介します。 参考元 以下のブログが大変参考になりました。ありがとうございました。 【小ネタ】FargateのAutoScallingをスケジュールベースで動かす方法 - Qiita 上記ブログでは、1つのFargateのECSクラスタ、サービスの停止起動ですが、私の方で、複数Fargateに対応できるようLambdaを修正しました。 （私は、Python素人なので、社内のPython詳しいメンバーにも助けてもらいました。感謝） 構築するもの 以下の3つでできます。 ECSのタスク起動数を変更するLambda 上記Lambda実行用のIAM Role 上記Lambdaを実行する（キックする）CloudWatch Events 前提条
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
外部に依存したコードもテストで駆動する / Test-Driven Architecture - AWS Dev Day Tokyo 2018 - Speaker Deck
