本文の内容は、2024年11月25日に Alejandro Villanueva が投稿したブログ(https://sysdig.com/blog/26-aws-security-best-practices/)を元に日本語に翻訳・再構成した内容となっております。 セキュリティは、 AWS Foundational セキュリティベストプラクティスの基本的な柱です。セキュリティリスクを最小限に抑え、環境を保護するには、サービス別にまとめられた AWS セキュリティベストプラクティスに従うことが不可欠です。この構造化されたアプローチは、潜在的な脆弱性に積極的に対処し、堅牢で安全なクラウドアーキテクチャーを維持するのに役立ちます。 AWS IAM（1） IAMポリシーでは、フルの ” * ” 管理者権限を許可すべきではない （２） IAMユーザーにはIAMポリシーを添付してはならない （３） I
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
複数AWSアカウントのインフラを同じコードで Terraform管理するプラクティス - ANDPAD Tech Blog
こんにちは！ アンドパッドSREの 宜野座 です。 前回は AWSのアカウント運用改善の取り組みについて記事を書かせていただきました。 今回はアンドパッドでIacへの取り組みとして行っているものの一例として、複数アカウント・複数環境を同一コードでTerraform管理するプラクティスを紹介したいと思います。 少し長くなりますが、お読みいただけると幸いです。 前回ブログ記事 tech.andpad.co.jp なぜIaC(Infrastructure as Code)に取り組んでいるのか Terraformを選んだ理由 同一コードでTerraformを複数アカウント・複数環境へplan, applyしたい terraform init terraform plan terraform apply 環境を増やしたい場合 環境ごとにリソースを作成したり、作成しないようにしたい 他の方法に関して
AWS利用料金を毎日Slackに通知する仕組みをCDKで作りたくてやってみた | DevelopersIO
どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 最近仕事が忙しくなると、AWSにて検証で作ったリソースを削除し忘れたことで余計な課金を発生させてしまうことが増えてきました。 自分の個人検証アカウントではAWS Budgetsを使って予算とアラートを設定していましたが、上限近くになってから気づくより毎日通知で気づくほうが良いと思ったので、今回はAWS CDKを使って作ってみました。 ※CDKをTypescriptで書く練習をしたかったという思いもあり、CDKスタックはTypescript、中のLambdaはPythonという個人的趣向に沿った組み合わせとなっています。 作るもの 以下の図のとおりです。 毎日AM9時10分（JST）にAWS料金を特定のSlackチャンネルに通知します。 作業環境は以下となります。（Python、AWS CDKの環境はすでにインストー
select クエリはこんな感じ。 select * from sample_master limit 10000; Aurora MySQL 最大時間: 2.911370515823364 最小時間: 1.679802656173706 平均時間: 2.2446921920776366 SQLite 最大時間: 1.0608539581298828 最小時間: 0.9547784328460693 平均時間: 1.0193749523162843 これは、想定外で、想像以上に SQLite が早かったです。 update クエリはこんな感じで、これを 100 件更新します。 update sample_master set user_name="hoge" where user_id=1; Aurora MySQL 最大時間: 4.00672483444214 最小時間: 2.28909
(追記)本記事で使用しているLINE Notifyが2025/3/31にサービス終了します。今後はLINE Messaging APIへ通知するよう変更した以下記事のツールを代わりにご使用ください。 こんにちは、つくぼし(tsukuboshi0755)です! みなさんは、利用中の AWS 料金を逐一把握されていますでしょうか？ リソースの消し忘れ等で、いつのまにか AWS からの請求額がとんでもない事になっていた...という体験談を持つ方もいらっしゃるかと思います。(私もその一人です) 上記の対策として、以下の記事のように、AWS の請求額を毎日通知するシステムを構築し、確認する方法が挙げられます。 こちらのシステムは非常に便利なのですが、 Slack への通知が前提となるため、普段 Slack を利用していない方からすると多少扱いづらいかもしれません。 そこで今回は、上記のシステムを少し
その実験、再現できますか？pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築 - Gunosyデータ分析ブログ
Gunosy Tech Lab リサーチインターンの北田 (@shunk031)です。 深層学習の論文を読んでいるときに著者実装が公開されている旨を見ると嬉しい気持ちになりますよね。 いざ公開レポジトリに飛んだ瞬間その嬉しさは無となることが多いですが、くじけずにやっていきたいです。 著者実装のrequirements.txtをベースにpythonモジュールをインストールするとよく見るやつ こちらの記事は Gunosy Advent Calendar 2020 6日目の記事です。昨日は @625 さんの goで作るfirehoseのデータ変換lambda でした。 tech.gunosy.io その実験、再現できますか？ リサーチインターンでは主にGunosyのデータを使った研究をしています。 特に私は深層学習による広告クリエイティブの評価や運用支援に焦点を当てて取り組んでいます*1。 深層
SaaS におけるテナントリソースへのリクエストルーティングを JWT を用いて実現する | Amazon Web Services
Amazon Web Services ブログ SaaS におけるテナントリソースへのリクエストルーティングを JWT を用いて実現する みなさんこんにちは。ソリューションアーキテクトの福本です。 本投稿のテーマは Software as a Service（SaaS）におけるルーティングです。 SaaS ではテナントごとにサーバーなどのリソースが分離されていることがあります。そのため、各テナントに属するユーザーからのリクエストを適切なリソースへとルーティングする必要があります。 具体的なルーティングの話に入る前に、SaaS のテナント分離モデルについて説明をします。SaaS では、テナントの分離モデルとしてサイロ、プール、ブリッジモデルが存在します。また、ユーザーがサブスクライブしている利用プラン (ティア) によって、リソースの分離形態が変わるような、階層ベースの分離もあります。 サイ
こちらは ANDPAD Advent Calendar 2022 の19日目の記事です。 こんにちは。 アンドパッドSREの宜野座です。 今回はアドベントカレンダーということで、Amazon S3の公開を検知してSlackに通知する仕組みをシンプルに行う方法に関して書こうと思います。 Amazon S3の重要性 S3バケットの公開を防ぐには S3の公開検知の例 AWS Config を利用する方法 Lambdaの作成 AWS Configでマネージドルールを有効化 Event Bridgeを作成する 動作確認 小ネタ: AWS Configで任意のタイミングでルールの評価を行う方法 Amazon Guard Dutyを利用する方法 まとめ 終わりに Amazon S3の重要性 ※ 以降、本文中ではAmazon S3をS3と短縮表記します。 AWSを利用されている場合、S3はさまざまなデータ
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
S3 + API gateway + Lambda (+ Aurora) による Serverless 申請フォームの構築 - BASEプロダクトチームブログ
はじめに はじめまして、CSE (Corporate Solution Engineering1）の上野です。 今回は BASE Partners という事業で使用していた Google フォームを S3 + API gateway + Lambda (+ Aurora) を使用した Serverless 構成のフォームに移行するというプロジェクトについてお話します。 変更前の構成図と構築した構成図としては以下のようになります。 変更前 変更後 BASE Partners について BASE では新規のショップオーナー様を紹介・支援いただくオフィシャルパートナーを募集するパートナープログラムを運営しています。 それらの申請には初期的には Move fast に行うため、Google フォームと Google スプレッドシートが使用されていましたが、ありがたいことにパートナー様やご紹介いただ
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 最近「医療言語処理」という本を読んで、医療用語の表記ゆれ吸収や意味構造検索などについて学びました。 医療言語処理 (自然言語処理シリーズ) 作者:荒牧 英治発売日: 2017/08/01メディア: 単行本 そこで今回はElasticsearchと患者表現辞書を使った意味構造検索がどのくらい実戦投入できるかを簡単に試したので、概要と実装方法を簡単にご紹介します。 患者テキストの表記ゆれ 患者テキストの表記ゆれとは MEDNLPの患者表現辞書 トークンによる検索の課題と対策の検討 主語が違うのにヒットしちゃう？ 意味構造検索 係り受け解析と患者表現辞書を使った意味構造検索の実装 患者表現辞書を使った係り受け解析 患者表現辞書の表現をクエリに展開する
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
AWS Lambda battle 2021: performance comparison for all languages (cold and warm start)
Let’s compare the performance of all supported runtimes + 2 custom runtimes (Rust and GraalVM). Will compare cold start and warm. Source code is here: https://github.com/Aleksandr-Filichkin/aws-lambda-runtimes-performance. It requires the minimum local setup(almost all is Dockerized) NodeJs (14.x)Python (3.9)Go(1.x)Ruby(2.7).Net(3.1)Java (11)Rust(1.54.0)GraalVM(21.2)Disclaimer:All benchmarks were
先日公開した「PyCon JP 2021」1日目のカンファレンスレポートはいかがでしたでしょうか？ 本レポートでは引き続き、2日目の様子をご紹介します。 PyCon JPは日本国内外のPythonユーザーが一堂に会し、互いに交流を深め、知識を分け合い、新たな可能性を見つけられる場所として毎年開催される国際カンファレンスです。 PyCon JP 2021は2021年10月15日～16日のカンファレンスと2日間の会期で開催されました。 今回は16日に行われたカンファレンスの中から、注目セッションと感想について運営スタッフがレポートします。 Day2 Keynote：A Perfect match ―Mr. Brandt Bucher （nikkie） 2021年10月、PyCon JP 2021の少し前にリリースされたPython3.10。その目玉機能といえば、Structural Patte
【Python 3.12】型ヒント機能がいつの間にか進化していたので、慌ててキャッチアップする - ABEJA Tech Blog
ABEJA でプロダクト開発を行っている平原です。 先日、バックエンドで使っているGo言語のお勉強しようと「go言語 100Tips ありがちなミスを把握し、実装を最適化する」を読んでいました。その中でinterfaceは（パッケージを公開する側ではなく）受け側で定義するべきという記述を見つけてPythonでも同じことできないかと調べていると（PythonではProtocolを使うとうまくいきそうです。）、どうやら型ヒント機能がかなりアップデートされていることに気づき慌てて再入門しました。（3.7, 3.8あたりで止まってました。。） この記事では、公式ドキュメントを見ながら適当にコードを書き散らし、どの機能はどこまで使えるのか試してみたことをまとめてみました。 docs.python.org 環境 Python: 3.12.1 エディタ: Visual Studio Code Pylan
Raspberry PiとAWSを利用して子どもたちのゲーム時間を可視化してみた | DevelopersIO
DynamoDBの作成 さっそくテーブルをCDKで構築してみます。 from aws_cdk import ( Stack, RemovalPolicy, aws_dynamodb as dynamodb, # DynamoDBのライブラリをimport ) from constructs import Construct class GameCounterStack(Stack): def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None: super().__init__(scope, construct_id, **kwargs) # The code that defines your stack goes here # ここから下に追記していきます。 # DynamoDB ログデータ格納用
[アップデート] リージョンレベルでの可用性があるリージョナルNAT Gatewayが利用可能になりました | DevelopersIO
NAT Gatewayの可用性と切り替えの手間が気になる こんにちは、のんピ(@non____97)です。 皆さんはNAT Gatewayの可用性と切り替えの手間が気になったことはありますか? 私はあります。 NAT GatewayはAZレベル = Zonalなサービスです。そのため、AZレベルの障害が発生した場合はNAT Gatewayへルーティングしていたリソースは通信ができなくなります。 そちらの対応としてNAT GatewayをMulti-AZ構成にすることがありますが、各AZ間のNAT Gatewayの振り分けが課題となります。 NAT Gatewayにルーティングする前段にNLBを挟んだとしても通信はできません。 また、NLBとNAT Gatewayとの間にSquidのようなプロキシサーバーを挟み、クロスリージョン負荷分散を行うことで、利用するNAT Gatewayへの負荷分散
![[アップデート] リージョンレベルでの可用性があるリージョナルNAT Gatewayが利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4dc8834472389a8411d6a2f3e9132d0c9aee24e2/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-50706ca4b3af64b50895745fa3ba1180%2F47af3f43efd69adb20976f201c9c3366%2Famazon-vpc)
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
エンジニアの業務効率をあげる！AWS CDKで作る本番Databaseを安全にクローンする方法 - AppBrew Tech Blog
こんにちは、AppBrewに業務委託で参加させてもらっているsnikiです。 本業ではヤフー株式会社でYahoo! JAPANアプリのバックエンド開発をやっています。 今回は、AWSのChatbot/Step Functions/CDK等を利用してAmazon Auroraをcloneするツールを作成したのでご紹介します。 背景 機能の説明 利用したAWSのサービスとシステム構成 この構成に至るまで slackのコマンドを受け付けるには cloneからmasking、instance class設定、通知まで Aurora Clone(Lambda) Aurora Masking(ECS) Modify Clone DB Instance Class(Lambda) Notify Slack(Lambda) 補足 なぜLamdaとECSが別れているのか インスタンスクラス変更のタスクは何？
ChatGPTのAPIがオープンになったのでSlackに分身を配置した話 - Money Forward Developers Blog
※飯テロを要求する社員と飯テロするbotと飯テロにダメだしする社員戯画 ご機嫌よう、世界 なんかもう最近は猫も杓子もChatGPTじゃないですか？ 僕みたいに自然言語処理をかじっていると、社内外問わずいろんな人から「ChatGPT、どうっすか」と まるで宗右衛門町の客引きのように 声をかけられます どうもこうも、それはそれでしょう、そもそもあの子のベースになっているGPT-3.5は単純にパラメータ数がｒｙ ChatGPTのAPIがついにオープンになったのでSlack botを早速導入する ※とんでもない嘘をつくChatGPT図絵 どうもCTO室AI推進部とグループ会社HiTTOで 二股 兼務中の@ken11です。 いや今回の話は非常にシンプルで掲題の通りなんですが、冗談抜きで社内外問わずChatGPTに対する強い興味と関心のお声を頂戴しており、せっかくなのでAPIが使えるようになったならみ
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2024年11月にはAWS Lambdaがアナウンスから10周年を迎えるということで、かなり早めではありますが前祝いという意味も含めて、この記事を書きました。 今回もAWS Lambdaの誕生から機能追
AWS とサードパーティーのサービスにアクセスするための統一された API である AWS クラウドコントロール API | Amazon Web Services
Amazon Web Services ブログ AWS とサードパーティーのサービスにアクセスするための統一された API である AWS クラウドコントロール API 2021 年 9 月 30 日、AWS クラウドコントロール API のリリースをお知らせします。AWS クラウドコントロール API は、デベロッパーが AWS およびサードパーティーのサービスを簡単に管理できるようにするために設計された、一般的なアプリケーションプログラムインターフェイス (API) のセットです。 AWS は、最も広範かつ深いクラウドサービスのポートフォリオを提供しています。ビルダーはこれらを活用して、あらゆる種類のクラウドインフラストラクチャを構築します。15 年前に Amazon Simple Storage Service (Amazon S3) を皮切りにサービスの提供が開始され、200 を超
ちょっと気が早いですが, Cloud Functions第2世代を試してみた - 現バージョンからの移行とその注意点 - Lean Baseball
今日のテーマ ※【2022/8/4更新】正式版がGAとなりました, ブログ記載の内容と異なる所がある可能性があるのでご注意ください&本番などで使っても大丈夫です！&別のブログも書いたのでその話も追加 仕事もプライベートもよくGoogle Cloud（GCP）を使っている人です. 最近はGoogle Cloudの資格取得, 頑張ってます*1. ちょっとしたSlack Botを作りたい ちょっとしたデータ収集クローラー（Webクローラー&スクレイピング）がほしい ちょっとした「CSVとかJSONのファイルをBigQueryに放り込む）簡単なETLがほしい なんて時に, Cloud FunctionsというGoogle Cloudのサーバレスな従量課金FaaS（Function as a Service）でシュッと関数作って運用しているのですが, つい最近そんなCloud Functionsの第
Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた - G-gen Tech Blog
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを Cloud Run 上にデプロイします。 また、Cloud Run サービスの認証には Identity-Aware Proxy (IAP) を用いることで、社内ユーザーのみがアクセスできる状態を構成で
GitHub Actionsを使ってコンテナ版AWS Lambdaにデプロイしてみた | DevelopersIO
本ブログでは、GitHub Actionsを使い、main ブランチへの push をトリガーにコンテナイメージをビルドしてコンテナレジストリのAmazon ECRにプッシュし、AWS Lambdaにコンテナイメージをデプロイする方法を紹介します。 実質的にやっていることは、GitHub の ECS 向けドキュメントをベースに、以下の変更を加えています。 GitHub から AWS への認証に、IAMアクセスキーの代わりに OpenID Connect(OIDC)を利用 デプロイ先をAmazon ECSからAWS Lambdaへ変更 大前提として、デプロイのゴールはLambda関数のコンテナイメージを更新することにフォーカスしており、Lambda関数の作成、設定変更、Lambda関数を呼び出すリソースのデプロイは本記事のスコープ外です。 0. GitHub レポジトリにアプリケーションを用
AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services | Amazon Web Services
AWS News Blog AWS Cloud Control API, a Uniform API to Access AWS & Third-Party Services Today, I am happy to announce the availability of AWS Cloud Control API a set of common application programming interfaces (APIs) that are designed to make it easy for developers to manage their AWS and third-party services. AWS delivers the broadest and deepest portfolio of cloud services. Builders leverage th
Github Actionsを利用してAWS Lambdaに自動デプロイをしてみた | DevelopersIO
こんにちは、コンサル部＠大阪オフィスのTodaです。 AWS Lambdaのプログラムを構築していて、Githubにプッシュをした時に自動デプロイができないか調べていましてGithub Actionsを利用する方法がございましたので試してみました。 Github Actionsについて Github ActionsはGithubが提供するCI/CDのためのためのワークフローエンジンで、GitHubから直接コードをビルド、テスト、デプロイを自動でする事が可能になります。 ■ アイデアからリリースまでのワークフローを自動化 - GitHub Actions https://github.co.jp/features/actions 実装したいこと Github内の指定ブランチにプッシュしたタイミングで自動デプロイをする。 変更可能なLambda関数を指定する。 IAMロールを利用してAWSとの
週刊Railsウォッチ（20201221前編）aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか｜TechRacho by BPS株式会社
2020.12.21 週刊Railsウォッチ（20201221前編）aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか こんにちは、hachi8833です。約400年ぶりという木星と土星の超大接近は12/21（月）なので今夜ですね。と思ったらもう西の空に沈んでしまったようです。 参考: 【特集】2020年12月 木星と土星の超大接近 - アストロアーツ 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙇 ⚓Rails: 先週の改修（Rails公式ニュースより） 今
ChatGPT／Bing Chat Enterprise で AWS CDK v2 のコードを作成する - Taste of Tech Topics
先週1週間、リフレッシュ休暇（当社の年次休暇）を頂き、宮古島旅行に行ってきました。 天気にも恵まれ、海もとてもキレイだったので、テンションが上がりっぱなしだった菅野です。 最近、AWSのリソースを作成する際に、CDKを利用することが増えてきました。 AWSのリソース定義としては、CloudFormationがありますが、CDKは、以下のようなメリットがあります。 TypeScriptやPython等、慣れたプログラミング言語でAWSのリソースを定義できる。 CloudFormationと比べると、大幅に記述量が減り、分かりやすくなる。 今回はAWS CDKに不慣れな私が生成AIを利用してどこまで簡単に作成できるか試してみます。 最初に、ChatGPTを利用して、CDKのコード出力を行おうとしたのですが、CDKの最新バージョン（v2）は2021年12月にリリースされており、2021年9月まで
Node.js 16.x runtime now available in AWS Lambda | Amazon Web Services
AWS Compute Blog Node.js 16.x runtime now available in AWS Lambda This post is written by Dan Fox, Principal Specialist Solutions Architect, Serverless. You can now develop AWS Lambda functions using the Node.js 16 runtime. This version is in active LTS status and considered ready for general use. To use this new version, specify a runtime parameter value of nodejs16.x when creating or updating fu
Introducing AWS Lambda runtime management controls | Amazon Web Services
AWS Compute Blog Introducing AWS Lambda runtime management controls This blog post is written by Jonathan Tuliani, Principal Product Manager. Today, AWS Lambda is announcing runtime management controls which provide more visibility and control over when Lambda applies runtime updates to your functions. Lambda is also changing how it rolls out automatic runtime updates to your functions. Together,
【Python】仕組みを理解してログ出力を使いこなす
Pythonでログ出力といえば、標準モジュールの logging を利用する方法が一般的ですね。ググって出くるブログ記事を読めば、なんとなくの理解でも使えてしまうので、しっかりと仕組みを理解せずとも使えてしまいますし、それでも問題ないケースも多いと思います。 ただし、少し凝ったことをしようとするならば、一度Pythonのロギングの仕組みを抑えておいたほうが圧倒的に実装が楽になります。今回はloggingモジュールの仕組みを理解したうえで使いこなすこと目的に、図解やコードを交えて分かりやすく解説していきます。 Pythonがログを出力する仕組み まずは、ログ出力機能を実装するオブジェクトたちの機能・役割を整理します。 オブジェクト 機能・役割 ログレコード（logging.LogRecord） ログ出力されるメッセージそのものの情報を持つ。ロガー間でやり取りされるのはこのログレコードである。
python_modules.pdf
Python3 OpenCV / Pillow / pygame / Eel / PyDub / NumPy / matplotlib / SciPy / SymPy / gmpy2 / hashlib, passlib / Cython / Numba / ctypes / PyInstaller / curses / tqdm / JupyterLab / json / psutil / urllib / zenhan / jaconv Copyright © 2017-2025, Katsunori Nakamura 2025 8 19 Python ‘ .py’ Python Python Windows PSF Python py .py Enter macOS Linux PSF Python python3 .py Enter Anaconda Prompt Python p
Terraform で Step Functions プロジェクトを記述するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Terraform で Step Functions プロジェクトを記述するためのベストプラクティス Terraform は、HashiCorp が提供する、もっとも人気のある infrastructure-as-code (IaC) プラットフォームの 1 つです。AWS Step Functions は、開発者が AWS のサービスを利用して分散アプリケーションを構築したり、プロセスを自動化したり、マイクロサービスをオーケストレーションしたり、データと機械学習 (ML) のパイプラインを作成できるよう支援するビジュアルワークフローサービスです。 このブログでは、Terraform を利用してワークフロー (Step Functions ステートマシン) をデプロイするユーザーのためのベストプラクティスを紹介します。AWS Step Fun
こんにちは、コンサル部＠大阪オフィスのTodaです。 Amazon Simple Email Service(以降SES)は任意のアプリケーションからメール配信をする際、おすすめのサービスになります。 メール配信はエンドユーザ様から指定頂いた、メールアドレスに対しておこないますが、入力ミスによる受信失敗(バウンスメール)、迷惑メール報告(苦情メール)が発生する場合があり管理が必要になります。 今回は、簡易に運営者側でバウンスメールに気づける方法を試してみます。 バウンスメール対策の重要性 SESではサービスを利用して送信したメールの中でバウンスメールと苦情メールの計測をしており、一定以上になった場合、レビュー対象や配信の停止がおこなわれます。処理を維持をするためバウンスメールの対応が必要になります。 ■ バウンスに関するよくある質問 から引用 https://docs.aws.amazon
AWS Step Function承認フローをAWS Step Functionsのワークフローから呼び出して多段階承認フローを作成する方法(AWS Systems Manager Automation ＆ Amazon EventBridge編) - NRIネットコムBlog
小西秀和です。 AI技術の急速な進化に伴い、従来の業務プロセスを見直す必要性が高まっています。 特に、多段階承認フローのあり方について、新しい視点からアプローチしたいと考え、この記事を執筆しました。 これまで多段階承認フローは、しばしば冗長で効率が悪いと批判されてきました。しかし同時に、専門知識や権限を持つ人間が最終判断を下す重要な場でもあります。 そこで私は次のような理由から、将来的に生成AIを多段階承認フローに組み込むことを見据え、AWS Step Functionsを活用した多段階承認フローシステムを試作してみました。 APIを介して承認フローをシステム化することで、人間と生成AIの間で意思決定プロセスを柔軟に切り替えられる 初期段階では人間が承認を行い、生成AIの能力が十分と判断された場合に段階的にAIへ移行できる 生成AIの判断に不安がある場合や、最終確認が必要な場合は、人間が承
Index 挨拶＆背景の話 構成 実装 感想 1. 挨拶 & 背景の話 こんちには、アプリケーションエンジニアで働いてます。キムでございます。 この前、運用してるアプリケーション内で発生するとあるエラーを検知する処理を入れたことがあります。 そこまで素晴らしい構成ではないが、この構成を作るときに、なかなか私と似てる状況の例文がなくてここに少しでも似てる悩みがある方に役に立てれば…と思って記録して残します。 2. 構成 前提条件 Cloudwatch Logsを使う FILTER機能はすでに別処理で動いてる 必ずリアルタイムでキャッチアップする必要はない １日１回のアラームぐらいでも構わない 要するに、Filterがすでに他のもので機能してるので、追加でなにかしたくて今回の構成を作りました。 正直Filterをもう少し汎用的に改善して運用することもいい案になったかもしれませんが、このような使
TL; NR PyWebIOっていう、Pythonユーザ向けでけっこうイケてる(死語)Webアプリケーションフレームワークを発見した。(正確にはスタックオーバーフローのコメントで知った) なのに日本語の記事が全然見つからないからサンプルコード組んでみた。 結論から言うとタイトルはマジ。 Python大好きだけどHTMLやJavascriptを見ると血圧が上がったりバイタルサインが著しく低下する人もこれなら楽しく遊べそう。 個人的な印象としては込み入った複雑なレイアウトを作るのは大変そうだけど、Bottleよりもスタートアップが楽。 PySimpleGUIと同レベルかそれ以上の簡単さで作れるWebアプリは貴重なので頑張って進化してもらいたいと思いました。(CSSアレルギーおじさん並みの感想) インストール Python 3.9 をインストール済みの Windows 10 とかで下記のとても複
[ChatGPT]OpenAI APIでGPT-3.5系のモデル「gpt-3.5-turbo」と「text-davinci-003」をLambdaで試してみた | DevelopersIO
はじめに 巷で人気のChatGPTのAPI が提供されていますので、Lambdaを使って試してみます。 ChatGPTは、GPT-3.5系のモデルの一つである「gpt-3.5-turbo」が使用されています。 また、GPT-3.5系のモデルの一つである「text-davinci-003」のAPI が提供されていますので、こちらも試してみます。 ２つのモデルの違いは、「text-davinci-003」は、高度な自然言語処理タスクに使用される一方、 「gpt-3.5-turbo」は小規模で速度が速く、比較的簡単な自然言語処理タスクに使用されることが多い点があります。 Pythonでは、openaiライブラリが用意されているため、ローカルでライブラリをZIP化し、Lambda Layer経由でライブラリを利用します。 OpenAIアカウントの作成は省略し、APIの発行方法から、Lambdaの作
![[ChatGPT]OpenAI APIでGPT-3.5系のモデル「gpt-3.5-turbo」と「text-davinci-003」をLambdaで試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2b0bf98c901ba636cbebacc15d02492fc4c92abd/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F03%2Fchatgpt.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
本番環境で採用すべき26のAWSセキュリティベストプラクティス
【2022年】AWS全サービスまとめ | DevelopersIO
Lambda からアクセスする DB に SQLite を使ってみる
AWSサービス毎の請求額を毎日LINEに通知してみた | DevelopersIO
Amazon S3の誤った公開に気づく! 通知の仕組み - ANDPAD Tech Blog
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
GiNZAと患者表現辞書を使って患者テキストの表記ゆれを吸収した意味構造検索を試した - エムスリーテックブログ
GPT in 60 Lines of NumPy | Jay Mody
2日目：Python 3.10新機能パターンマッチの神髄がわかる | gihyo.jp
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
SESでバウンスメールを確認する方法をいくつか試してみた | DevelopersIO
AWS Lambdaを使って特定ログを通知する - Qiita
「PyWebIO」があればPython 100%でWebアプリ作れるってマジ！？ - Qiita