並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 88件

新着順 人気順

aws lambda python import requestsの検索結果1 - 40 件 / 88件

  • サーバーレスのセキュリティリスク - AWS Lambdaにおける脆弱性攻撃と対策 - GMO Flatt Security Blog

    はじめに こんにちは、株式会社Flatt Security セキュリティエンジニアの森岡(@scgajge12)です。 本稿では、AWS Lambda で起こりうる脆弱性攻撃やリスク、セキュリティ対策を解説し、サーバーレスにおけるセキュリティリスクについて紹介します。 はじめに AWS Lambda について サーバーレスにおけるセキュリティリスク AWS Lambda で起こりうる脆弱性攻撃 Lambda での脆弱性攻撃によるリスク 脆弱性攻撃による更なるリスク OS Command Injection XML External Entity (XXE) Insecure Deserialization Server Side Request Forgery (SSRF) Remote Code Execution (RCE) AWS Lambda におけるセキュリティ対策 セキュリティ

      サーバーレスのセキュリティリスク - AWS Lambdaにおける脆弱性攻撃と対策 - GMO Flatt Security Blog
    • 技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話

      こんにちは、株式会社シグマアイのエンジニアの@k_muroです。 今回の記事は最近導入した「技術blogを良い感じに共有してくれるSlack bot」のご紹介を。 はじめに 技術の進化は止まらない。(真面目な話、AI系の進捗がマジですごいて全然追えない) 毎日のように新しい技術、フレームワーク、ライブラリ、ツールが生まれています。そんな中でエンジニアとして働いていると、この情報の波に疲れを感じること、ありませんか? ありますよね?(脅迫) 実際私もその一人で、この小さな疲れが積み重なって大きなストレスとなることに気づきました。 「新しい技術情報、追いつけるかな?」 「あのブログ記事、後で読もうと思ってたのに、どこいったっけ?」 「チーム全員が同じ情報を持ってるか心配だな。」 そんな日常の疑問や不安から逃れるための一歩として、私はあるSlack botを開発しました。このbotは、送られた技

        技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話
      • 結婚式のエンドロールを当日作った話

        結婚のお礼と報告 でちょこっと書いた結婚式エンドロールをその場で作ってみたのお話 注意事項# 結婚式のエンドロールを自作したりするには結婚式場の協力が必須です。 作り出す前に式場に必ず確認を取りましょう。 PCからそのままプロジェクトにだせばいいじゃん!と思い込むのだめです(自戒) 動機# エンドロールを式場にお願いしようと思ったら高かったので、最近のイケてるサービスとか適当にガッチャンコすれば作れると思った。 今は反省している。 全体の構成# LINE Botに参加者から画像投稿を投げてもらう S3に保存すると同時に投稿者情報をDynamoDBに保存 投稿された画像にDynamoDBの投稿者情報から名前を追記 画像を全部結合して動画化し、事前に生成したエンドロールで必要な部分を結合 式の最後に流してもらう 全体の構成はこんな感じです。 サーバーレスアーキテクチャのお勉強がてら作ろうとした

          結婚式のエンドロールを当日作った話
        • 特定のページが更新されたら通知する仕組みを作ってみた - Qiita

          はじめに RSS対応のサイトだと、更新情報追いやすいけど、RSS非対応のページも追いたいよね。って人向けの記事です。 RSS対応しているサイトなら、RSSリーダーを使った方が早いです また、Discordのチャンネルにも通知がしたかったので、メールとDiscord両方に通知を行っています。 Discord側にWebhook用のURLが必要ですが、本記事では紹介しません 参考サイトのZennの記事が細かく書かれていますので、そちらをご覧ください なお、この仕組みは更新を検知したいサイトに確認リクエストを送ります。 高頻度で設定してしまうと、サーバーに負荷がかかる為、 高頻度での設定はしないようにお願いします 参考サイト 構成図 コードについて(Lambda) コードについては、基本的に、クラスメソッドさんの記事を参考にしています Discordの通知部分については、AmazonBedrock

            特定のページが更新されたら通知する仕組みを作ってみた - Qiita
          • Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices | Amazon Web Services

            AWS News Blog Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices Organizations are adopting microservices architectures to build resilient and scalable applications using AWS Lambda. These applications are composed of multiple serverless functions that implement the business logic. Each function is mapped to API endpoints, methods, and resources using s

              Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices | Amazon Web Services
            • 【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog

              はじめに RAGとは 構成図 作成リソース Lambda 1. PDFから文書抽出&Embedding取得Lambda 2. 回答作成用Lambda AWS SAM テンプレート Streamlit 動作確認 まとめ はじめに こんにちは堤です。 Amazon BedrockがGAとなり、AWS内で完結してLLMアプリケーションを構築できるようになりました。 試しにRAGアプリケーションを作成してみようと思いましたが、現状AWSでRetrievalするデータソースを作成しようとすると、Amazon OpenSearch Serverless やAmazon Kendraを使用するしかありません。これらのサービスを使うのはコストもそれなりにかかり少しハードルが高いなーと思っていたら以下のブログを見つけました。 aws.amazon.com 構成図を見ると分かるように、S3にembedding

                【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog
              • AWS利用料金を毎日Slackに通知する仕組みをCDKで作りたくてやってみた | DevelopersIO

                どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 最近仕事が忙しくなると、AWSにて検証で作ったリソースを削除し忘れたことで余計な課金を発生させてしまうことが増えてきました。 自分の個人検証アカウントではAWS Budgetsを使って予算とアラートを設定していましたが、上限近くになってから気づくより毎日通知で気づくほうが良いと思ったので、今回はAWS CDKを使って作ってみました。 ※CDKをTypescriptで書く練習をしたかったという思いもあり、CDKスタックはTypescript、中のLambdaはPythonという個人的趣向に沿った組み合わせとなっています。 作るもの 以下の図のとおりです。 毎日AM9時10分(JST)にAWS料金を特定のSlackチャンネルに通知します。 作業環境は以下となります。(Python、AWS CDKの環境はすでにインストー

                  AWS利用料金を毎日Slackに通知する仕組みをCDKで作りたくてやってみた | DevelopersIO
                • AWSサービス毎の請求額を毎日LINEに通知してみた | DevelopersIO

                  (追記)本記事で使用しているLINE Notifyが2025/3/31にサービス終了します。今後はLINE Messaging APIへ通知するよう変更した以下記事のツールを代わりにご使用ください。 こんにちは、つくぼし(tsukuboshi0755)です! みなさんは、利用中の AWS 料金を逐一把握されていますでしょうか? リソースの消し忘れ等で、いつのまにか AWS からの請求額がとんでもない事になっていた...という体験談を持つ方もいらっしゃるかと思います。(私もその一人です) 上記の対策として、以下の記事のように、AWS の請求額を毎日通知するシステムを構築し、確認する方法が挙げられます。 こちらのシステムは非常に便利なのですが、 Slack への通知が前提となるため、普段 Slack を利用していない方からすると多少扱いづらいかもしれません。 そこで今回は、上記のシステムを少し

                    AWSサービス毎の請求額を毎日LINEに通知してみた | DevelopersIO
                  • ECS のアプリケーションを正常にシャットダウンする方法 | Amazon Web Services

                    Amazon Web Services ブログ ECS のアプリケーションを正常にシャットダウンする方法 この記事は Graceful shutdowns with ECS を翻訳したものです。 — はじめに Amazon Elastic Container Service (Amazon ECS) を利用することで、お客様はさまざまな方法でコンテナ化されたアプリケーションを柔軟にスケールできます。リクエストの急増に対してタスクをスケールアウトすることも、コスト削減のためにタスクをスケールインすることもできます。ECS ではさまざまなデプロイの選択肢があり、ローリングデプロイ・ブルー/グリーンデプロイ・カナリアデプロイなどがサポートされています。さらに、ECS では柔軟なコンピューティングの選択肢が用意されています。Amazon EC2 のオンデマンド/スポットのキャパシティ上や、マネージ

                      ECS のアプリケーションを正常にシャットダウンする方法 | Amazon Web Services
                    • ElasticsearchとKibela APIを使ってSlackでのCSお問い合わせ対応業務を改善した話 - BASEプロダクトチームブログ

                      この記事はBASE Advent Calendar 2020の11日目の記事です。 devblog.thebase.in BASE株式会社 Data Strategy チームの@tawamuraです。 BASEではオーナーの皆様や購入者様のお問い合わせに対して、Customer Supportチームが主となって対応をしています。その中でもいくつかの技術的なお問い合わせに対しては、以下のようにSlackの専用チャンネルを通して開発エンジニアに質問を投げて回答を作成することになっています。 CSチームから調査を依頼されるお問い合わせの例 これらのCS問い合わせ対応は日々いくつも発生しており、CSお問い合わせ対応を当番制にして運用してみた話 でもあるように週ごとに持ち回り制で各部門のエンジニアが対応しているのですが、どうしても調査や対応に時間が取られてしまうという問題が発生していました。 dev

                        ElasticsearchとKibela APIを使ってSlackでのCSお問い合わせ対応業務を改善した話 - BASEプロダクトチームブログ
                      • AWS Documentation MCP Server でAWSのFAQアシスタントを作成する - Taste of Tech Topics

                        はじめに データ分析エンジニアの木介です。 AWSの公式ドキュメントで欲しい情報を探そうとしても、なかなか目的のページが見つからなかったりすることってありませんか? AWSから「AWS Documentation MCP Server」が公開されたため、本記事では、それを利用して、最新のAWSドキュメントに基づき、質問に回答してくれるFAQアシスタントの作成方法について紹介したいと思います。 MCP Serverの呼び出しには、Claude Desktop および dolphin-mcp を利用します。 github.com はじめに 概要 1. MCPとは MCPのしくみ 2. AWS Documentation MCP Serverとは Claude Desktop経由でAWS ドキュメントのFAQアシスタントを作成する dolphin-mcpでAWS ドキュメントのFAQアシスタント

                          AWS Documentation MCP Server でAWSのFAQアシスタントを作成する - Taste of Tech Topics
                        • Python で緊急対応時の Slack 操作を自動化してみた | DevelopersIO

                          このブログはこんな方におすすめ 緊急対応の初動を早めたい リモートワーク中心になり、緊急対応中の作業分担や進捗確認が難しい Google Apps Script で緊急対応時の Slack 操作を自動化してみた の Python 版がほしい 2021年6月11日に以下のセッションに登壇しました。本ブログでは登壇中に紹介するとお伝えした関数をご紹介します。また背景についても改めて少し記載しています。 業界特化事例紹介セッション SIer編 | Slack はじめに クラスメソッドでは Slack API を活用することで、いくつかある緊急対応の初動が約30分早くなりました。 では、どのように活用して初動対応を迅速化したのでしょうか。 本ブログでは、クラスメソッドの緊急対応の一つである、AWS 不正利用対応を例に紹介します。 AWS 不正利用とは、AWS アクセスキーの漏洩などが原因で発生しま

                            Python で緊急対応時の Slack 操作を自動化してみた | DevelopersIO
                          • 【2025年最新版】X Bot を作りながら学ぶ AWS ドリル - #1 X API の初期設定 & AWS Lambda を使って Hello World ポストする - log4ketancho

                            こんにちは、@ketancho です。 3年ほど前に AWS 公式 Web マガジン builders.flash にて、『作りながら学ぶ AWS ドリル』という連載を、1年間やらせていただきました。 aws.amazon.com このような手を動かしながら学ぶことは個人的にとても好きな学習形式で、楽しく(時には締め切りに涙しながら)連載させていただきました。実は、X(旧 Twitter)の API を利用することがプライベートで稀によくあるので、私自身、今でも頻繁にこの記事を参照しています。 しかしながら、3年も経ってしまうとやはり差分が出てきてしまっており、AWS のマネージメントコンソールもそうですし、Twitter 側の UI にも変更があり、なんなら2023年には Twitter から X にサービス名称も変わってしまいました。そのままご活用いただける部分はあるものの、初見の方だ

                              【2025年最新版】X Bot を作りながら学ぶ AWS ドリル - #1 X API の初期設定 & AWS Lambda を使って Hello World ポストする - log4ketancho
                            • Raspberry PiとAWSを利用して子どもたちのゲーム時間を可視化してみた | DevelopersIO

                              DynamoDBの作成 さっそくテーブルをCDKで構築してみます。 from aws_cdk import ( Stack, RemovalPolicy, aws_dynamodb as dynamodb, # DynamoDBのライブラリをimport ) from constructs import Construct class GameCounterStack(Stack): def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None: super().__init__(scope, construct_id, **kwargs) # The code that defines your stack goes here # ここから下に追記していきます。 # DynamoDB ログデータ格納用

                                Raspberry PiとAWSを利用して子どもたちのゲーム時間を可視化してみた | DevelopersIO
                              • AWS Security Hub の通知を Amazon Bedrock を使ってアクショナブルにしてみた - カミナシ エンジニアブログ

                                どうもセキュリティエンジニアの西川です。これがきっと私にとっての今年最後のブログです。今年の AWS re:Invent は自身の登壇があったのでほとんど楽しめませんでした。悔しいのでこうしてブログを帰ってきてからいくつか書いています。カミナシのメンバーの中で私と CTO だけは自腹で AWS re:Invent へ参加していますが、来年の飛行機もすでにとっていたりします。来年ラスベガスでお会いしましょう。 AWS re:Invent の中でもたくさんの Generative AI のセッションがありました。私自身はほとんど参加していなかったのですが、Generative AI の GameDay に出たことをきっかけに Generative AI 意外と難しくないなと思い、Security Hub の通知をアクショナブルに変えてエンジニアの誰しもが対応できるようにしてみようと思ったのが本

                                  AWS Security Hub の通知を Amazon Bedrock を使ってアクショナブルにしてみた - カミナシ エンジニアブログ
                                • AWS Lambda の Python で pandas や requests を使うのに、Lambda Layer を自作する必要はない - AWS SDK for pandas を活用しよう - Qiita

                                  AWS Lambda の Python で pandas や requests を使うのに、Lambda Layer を自作する必要はない - AWS SDK for pandas を活用しようAWSpandaslambdaLambda-Layers 概要 AWS Lambda では、マネージドに提供されている AWS レイヤーがあり、自分でビルドすることなく簡単に利用できる AWS SDK for pandas のマネージドな Lambda Leyer には、 pandas / numpy といったデータ処理系のモジュールや aiohttp / requests といった HTTP リクエスト用モジュールなど、様々なモジュールがバンドルされている (一覧は後述) AWS Lambda でこれらのモジュールを使用する方法として、多くの記事では Lambda Layer を自作する方法や第三

                                    AWS Lambda の Python で pandas や requests を使うのに、Lambda Layer を自作する必要はない - AWS SDK for pandas を活用しよう - Qiita
                                  • AWS Lambda(Python)でAmazon Bedrockの出力をレスポンスストリーミング対応してみた - Taste of Tech Topics

                                    こんにちはイワツカです。 今年の夏は、特に猛暑日が続いていたので、例年にも増して素麺を食べてました。 さて今回は、AWS Lambda(Python)でLambda Web Adapterを用いてレスポンスストリーミングする方法を試してみたので紹介します。 1. 概要 1.1 レスポンスストリーミングとは? 1.2 Lambda Web Adapterとは? 2. アプリ作成 2.1 実行環境 2.2 ディレクトリ構成 2.3 FastAPIの実装 2.4 Streamlitの実装 3. アプリを動かして見る 3.1 チャットアプリをデプロイ 3.2 Streamlitを起動する 3.3 チャットを試してみる 4. まとめ 1. 概要 1.1 レスポンスストリーミングとは? レスポンスストリーミングとは、HTTPリクエストに対してサーバーがレスポンスを一度にまとめて送るのではなく、データを

                                      AWS Lambda(Python)でAmazon Bedrockの出力をレスポンスストリーミング対応してみた - Taste of Tech Topics
                                    • Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 | Amazon Web Services

                                      AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. August 13, 2024 – Added a note clarifying that, when following the walkthrough, you should not mark the Specify Lambda function version option that was added after this post was p

                                        Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 | Amazon Web Services
                                      • Amazon Bedrockの基本情報とRuntime APIの実行例まとめ - 参考資料、モデルの特徴、価格、使用方法、トークンと推論パラメータの説明 - NRIネットコムBlog

                                        小西秀和です。 今回は2023-09-28にGeneral Availability(GA)になったAmazon Bedrockの基本情報、Runtime APIの実行例についてまとめました。また、トークンやパラメータのイメージをつかむための必要最小限の用語説明も所々入れています。 最終更新日:2024/06/21 ※AWS re:Invent 2024後の2024年末時点におけるAmazon Bedrockのモデル一覧は以下の記事で紹介しています。 Amazon Bedrock Models as of 2024 - An Analysis of the Comprehensive Model Catalog ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する場合は自己責任でお願い致しま

                                          Amazon Bedrockの基本情報とRuntime APIの実行例まとめ - 参考資料、モデルの特徴、価格、使用方法、トークンと推論パラメータの説明 - NRIネットコムBlog
                                        • Aurora MySQLログの収集と分析基盤の紹介 - LayerX エンジニアブログ

                                          こんにちは!バクラク事業部 Platform Engineering部 SREグループの taddy(id:sadayoshi_tada)です。 みなさんはデータベースサーバのログの分析が必要になった時どのように対処されていますか?バクラクではAmazon Aurora MySQL互換(以降Auroraと呼称します)を使用していて、Aurora内部に保持しているログを収集し、分析する基盤を運用しているためこの記事でその紹介をします。 Aurora内部に保持しているログの出力 Auroraのログダウンロードのための手段検討 AuroraのログダウンロードとS3アップロードの概要 実行基盤の選定 S3に格納したログの分析 S3に保管しているログのパス概観 Audit logの分析例 SOC1監査での利用 まとめ 終わりに Aurora内部に保持しているログの出力 Aurora内部に保持している

                                            Aurora MySQLログの収集と分析基盤の紹介 - LayerX エンジニアブログ
                                          • Choosing the right solution for AWS Lambda external parameters | Amazon Web Services

                                            AWS Compute Blog Choosing the right solution for AWS Lambda external parameters This post is written by Thomas Moore, Solutions Architect, Serverless. When using AWS Lambda to build serverless applications, customers often need to retrieve parameters from an external source at runtime. This allows you to share parameter values across multiple functions or microservices, providing a single source o

                                              Choosing the right solution for AWS Lambda external parameters | Amazon Web Services
                                            • The history and future roadmap of the AWS CloudFormation Registry | Amazon Web Services

                                              AWS DevOps & Developer Productivity Blog The history and future roadmap of the AWS CloudFormation Registry AWS CloudFormation is an Infrastructure as Code (IaC) service that allows you to model your cloud resources in template files that can be authored or generated in a variety of languages. You can manage stacks that deploy those resources via the AWS Management Console, the AWS Command Line Int

                                                The history and future roadmap of the AWS CloudFormation Registry | Amazon Web Services
                                              • LancersをAmazon Linux2へログ基盤のリニューアルと管理画面をECS/Fargateに移行しました | ランサーズ(Lancers)エンジニアブログ

                                                Lancers Engineer Blog をご覧のみなさんこんにちは。開発部/技術基盤 SREの安達(@adachin0817)です。最近埼玉で激安マンションを購入しまして、快適な環境でバシバシとフルリモートワークを行っております。今年の目標はより健康的に、ジョギングは毎週続いているので筋トレを取り入れたいと思っております。 さて、ようやくLancers本家の各サーバーをAmazon Linux2化、管理画面をECS/Fargate化、ログ基盤リニューアルを半年で実現できまして、一旦落ち着くことができました。苦労したところなど振り返ってみようと思います。 ※去年12月に以下今期SREチームの取り組みについて書きましたが、見ていない方はぜひ一読してもらえると幸いです。 ・今期SREチームの取り組みについて Lancers本体をAmazon Linux2化するにあたって ・2018年 ランサ

                                                  LancersをAmazon Linux2へログ基盤のリニューアルと管理画面をECS/Fargateに移行しました | ランサーズ(Lancers)エンジニアブログ
                                                • AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services | Amazon Web Services

                                                  AWS News Blog AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services Today, I am happy to announce the availability of AWS Cloud Control API a set of common application programming interfaces (APIs) that are designed to make it easy for developers to manage their AWS and third-party services. AWS delivers the broadest and deepest portfolio of cloud services. Builders leverage th

                                                    AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services | Amazon Web Services
                                                  • Understanding AWS Lambda Proactive Initialization

                                                    AWS Lambda warms up your functions, such that 50%-85% of Lambda Sandbox initializations don't increase latency for users. In this article we'll define Proactive Initialization, observe its frequency, and help you identify invocations where your cold starts weren't really that cold. July 13, 2023 This post is both longer and more popular than I anticipated, so I’ve decided to add a quick summary: T

                                                      Understanding AWS Lambda Proactive Initialization
                                                    • [電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO

                                                      はじめに Amazon Connectでの発話内容をAmazon Transcribeで文字起こしし、音声出力するフローを構築しましたので、手順をまとめました。コンタクトセンターの無人対応を想定しています。 文字起こし内容を音声出力するまでの流れは次の通りです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Amazon Kinesis Video Streams(以降、KVS)への音声のストリーミングを開始します。 発話します。 発話後、「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングが終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、以下の処理を行います。 LambdaでKVSからメディアデータを取得します。 メディアデータから音声データを抽出し、WAV形式に変換し、S3バケットに音声ファイルを保存します。 Amaz

                                                        [電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO
                                                      • Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG

                                                        こんにちは、技術本部 データシステム部 MLOpsブロックの平田(@TrsNium)です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への移行 コンパイラのデータ型の制約が厳しくなった ContainerOp APIが非推奨になった Kubeflow PipelinesのPlaceholderを使用できなくなった 2. スケジュール実行されているワークフローへ前回実行分が終わるまでの待機処理を追加 3. Vertex

                                                          Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG
                                                        • Introducing VPC Lattice – Simplify Networking for Service-to-Service Communication (Preview) | Amazon Web Services

                                                          AWS News Blog Introducing VPC Lattice – Simplify Networking for Service-to-Service Communication (Preview) March 31, 2023 – Amazon VPC Lattice is now generally available with new capabilities. Modern applications are built using modular and distributed components. Each component is a service that implements its own subset of functionalities. To make these services communicate with each other, you

                                                            Introducing VPC Lattice – Simplify Networking for Service-to-Service Communication (Preview) | Amazon Web Services
                                                          • Pythonで使える!非同期対応のRequestsモジュールとしてのHTTPX

                                                            はじめに PythonでHTTPリクエストを大量に非同期で投げる方法を探していました。requestモジュールはどうも対応していない様子なので、aiohttpを使うしかないのか…?と諦めていたところ、どうやらHTTPXが良さそうなので、試してみました。 What's HTTPX? HTTPXはDjango REST frameworkや、Starlette、Uvicornと同様に管理しているEncode社が管理しているプロダクトのようです。 HTTPX is a fully featured HTTP client library for Python 3. It includes an integrated command line client, has support for both HTTP/1.1 and HTTP/2, and provides both sync and a

                                                              Pythonで使える!非同期対応のRequestsモジュールとしてのHTTPX
                                                            • chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード1行も書かずに出来た😅|hantani

                                                              chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード1行も書かずに出来た😅 ある所で、「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」は案件定義で3日かかりますよと書いてありました。 chatGPT-4使ったらどうなるんだろうと思ってやってみました。 結論をいうと「余裕で案件定義もプログラムもコードを一行も書かずに出来ました」 以下、「Q.」が質問(プロンプト)です。「A.」がchatGPT-4からの回答です。 プロンプタ(魔術師)とchatGPTとのリアルなやり取りです。長いですよ😅 Q.あなたはプログラマです。ウェブスクレイピング→情報をPDF保存の自動化ツール開発はどのような案件がひつようでしょうか? A.ウェブスクレイピングと情報をPDF保存の自動化ツールを開発するには、以下の要件が必要です。 プロジェクトの

                                                                chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード1行も書かずに出来た😅|hantani
                                                              • Graceful shutdowns with ECS | Amazon Web Services

                                                                Containers Graceful shutdowns with ECS February 2023: Parts of this blog are no longer accurate. Following enhancements to the ELB integration for ECS services, tasks running on Fargate Spot will be deregistered from a target group if it receives a spot termination notice before a SIGTERM is issued to the Task. Introduction Amazon Elastic Container Service (Amazon ECS) gives customers the flexibil

                                                                  Graceful shutdowns with ECS | Amazon Web Services
                                                                • LambdaのErrorとWarningログをSlackに通知する | DevelopersIO

                                                                  Lambdaのログに特定のキーワード(ErrorやWarning)があるとき、Slackに通知する仕組みを作りました。 Lambdaにエラーが発生したとき、CloudWatch AlarmとChatbotでエラーを通知する仕組みはよく作ります。 しかし、Lambdaのエラーだけではなく、特定のキーワードを含む内容を通知したい場合もあります。 Lambda自体をエラーにできないが、Errorログがあるとき Lambda自体は正常だが、Warningログがあるとき というわけで、Lambdaのログに特定のキーワードがあるとき、Slackに通知する仕組みを作ってみました。 おすすめの方 Lambdaのログに特定キーワードがあるとき、Slack通知したい方 CloudWatch Logsのサブスクリプションフィルターを使いたい方 全体構成図 CloudWatch Logsのサブスクリプションフィル

                                                                    LambdaのErrorとWarningログをSlackに通知する | DevelopersIO
                                                                  • 商品入荷情報を定期的にスクレイピングしてSlack通知する(Lambda with serverless framework)

                                                                    my-scraping-app ディレクトリ内に serverless framework 関連のファイルが生成されます。 その後 venv の設定や、serverless framework で AWS にデプロイするための credentials の設定をします(本記事では省略)。 以下 credentials 設定の参考ページです。 スクレイピング & slack通知スクリプトの実装 スクレピングは様々な方法があると思うのですが、今回は該当商品の商品ページに出ている「現在品切れ中」というボタンの有無を確認することで、入荷状況を判断することとします。 依存モジュールを追加して、handler.py にスクレピングコードと Slack 通知コードを書いていきます。 import requests import re import os from bs4 import BeautifulS

                                                                      商品入荷情報を定期的にスクレイピングしてSlack通知する(Lambda with serverless framework)
                                                                    • Introducing Strands Agents, an Open Source AI Agents SDK | Amazon Web Services

                                                                      AWS Open Source Blog Introducing Strands Agents, an Open Source AI Agents SDK Today I am happy to announce we are releasing Strands Agents. Strands Agents is an open source SDK that takes a model-driven approach to building and running AI agents in just a few lines of code. Strands scales from simple to complex agent use cases, and from local development to deployment in production. Multiple teams

                                                                        Introducing Strands Agents, an Open Source AI Agents SDK | Amazon Web Services
                                                                      • LambdaでAWS利用料のグラフをS3に保存し、Slackに通知する - Qiita

                                                                        はじめに AWSアカウントの管理者になってから、ほぼ毎日Cost Explorerで利用料を確認し、料金の急増がないかをチェックしています。ただ、 手動での確認はやはり手間がかかり、もっと手軽な方法でやりたい 利用料の状況をチームメンバーにも共有し、コストの管理意識を芽生えてもらいたい というニーズがあり、日々の利用料をSlackに通知するためのLambda関数を実装しました。 参考記事 まず、アーキテクチャとソースコードはこちらの記事を参考し、一部カスタマイズして作りました。(@hayao_kさん、ありがとうございました!) 日々のAWS請求額をグラフ付きでSlackに通知する ただ、弊社のSlackワークスペースにおいては、ファイルアップロードのための files:write スコープが規則上認められていないため、アーキテクチャを一部変更し、Slackへの直接アップロードではなく、一度

                                                                          LambdaでAWS利用料のグラフをS3に保存し、Slackに通知する - Qiita
                                                                        • Windowsから外部ライブラリを利用するPythonのLambdaをデプロイしてみる | DevelopersIO

                                                                          Windowsから外部ライブラリを利用するPythonのLambdaへデプロイする機会があったので、やり方をご紹介します。ついでにバッチ化します。 Windowsから外部ライブラリを利用するPythonのLambdaへデプロイする機会があったので、やり方をご紹介します。 やっていることは次の公式ドキュメントと同様です。 .zip ファイルアーカイブで Python Lambda 関数をデプロイする - AWS Lambda 本ブログでは、この公式ドキュメントの内容に加えて、もうちょっと手順を詳しく解説していきます。 最終的なバッチ 最初にこれからやる作業をまとめたバッチファイルを載せておきます。 これ見て何となくわかるようなら、この先は読まなくても大丈夫です。 if exist my-deployment-package.zip del my-deployment-package.zip

                                                                            Windowsから外部ライブラリを利用するPythonのLambdaをデプロイしてみる | DevelopersIO
                                                                          • [Slack] 特定チャンネルの特定キーワードに反応して、自動リアクションするSlackアプリ(Bot)を作る | DevelopersIO

                                                                            Slackで特定のキーワードを含むメッセージに対して、自動でリアクションを付けたいことってありますよね。というわけで、実際にやってみました。 おすすめの方 Slackで特定チャンネルのメッセージで動くSlackアプリ(Bot)を作成したい方 Slackで自動でリアクションを付与したい方 上記の仕組みをサーバーレスで作成したい方 ざっくり構成 SlackのEvents APIで特定チャンネル(Slackアプリが追加されたチャンネル)のメッセージを受信し、reactions.addでリアクションを付与します。 自動リアクションBotを作成する(準備編) Slackアプリ作成時にWebAPIを指定するため、最初にVerify用のAPIを作成します。 SAM Init sam init \ --runtime python3.8 \ --name Slack-Team-IoT-Reaction-B

                                                                              [Slack] 特定チャンネルの特定キーワードに反応して、自動リアクションするSlackアプリ(Bot)を作る | DevelopersIO
                                                                            • Amazon S3 Object Lambdaの紹介 – コードを利用して S3 から取得するデータを処理 | Amazon Web Services ブログ

                                                                              Amazon Web Services ブログ Amazon S3 Object Lambdaの紹介 – コードを利用して S3 から取得するデータを処理 Amazon Simple Storage Service(S3)にデータを保存すると、複数のアプリケーションで使用するためにデータを簡単に共有することができます。しかし、それぞれアプリケーションごとに固有の要件があり、データの異なるビューが必要になる場合があります。例えば、eコマースアプリケーションによって作成されたデータセットには個人識別情報(PII)が含まれる場合がありますが、データ分析のために処理するときには個人識別情報は不要であり、編集(マスキング等)がされているべきです。一方、同じデータセットがマーケティングキャンペーンに使用されている場合は、顧客ロイヤルティデータベースからの情報など追加の詳細データで補填する必要があるかも

                                                                                Amazon S3 Object Lambdaの紹介 – コードを利用して S3 から取得するデータを処理 | Amazon Web Services ブログ
                                                                              • 従来から12倍高速化した同期呼び出しLambdaのスケールアウト能力を確認してみた | DevelopersIO

                                                                                CX事業本部@大阪の岩田です。 re:inventで大量のアップデート情報が流れる中、Lambdaにもこんなアップデートが来ていました。 なんと同期実行のLambdaが従来の12倍のスピードでスケールアウト可能になったとのことです! 従来Lambdaの同時実行数は1分ごとに500ずつスケールアウトしていく仕様でしたが、このアップデートによって10秒ごとに1,000ずつスケールアウト可能になりました。 新サービスや新機能というわけではありませんが、コレはなかなか熱いアップデートではないでしょうか?ということで実際にLambdaを大量起動してスケールアウトの速さを確認してみました。 環境 今回検証に利用した環境です。 Lambda ランタイム: Python3.11 アーキテクチャ: arm64 リージョン: バージニア(us-east-1) メモリ割り当て: 128M EC2 インスタンスタ

                                                                                  従来から12倍高速化した同期呼び出しLambdaのスケールアウト能力を確認してみた | DevelopersIO
                                                                                • Introducing a Public Registry for AWS CloudFormation | Amazon Web Services

                                                                                  AWS News Blog Introducing a Public Registry for AWS CloudFormation AWS CloudFormation and the AWS Cloud Development Kit (AWS CDK) (CDK) provide scalable and consistent provisioning of AWS resources (for example, compute infrastructure, monitoring tools, databases, and more). We’ve heard from many customers that they’d like to benefit from the same consistency and scalability when provisioning reso

                                                                                    Introducing a Public Registry for AWS CloudFormation | Amazon Web Services