コンテナ形式のLambdaはPythonライブラリのimportが早いか検証してみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS LambdaでWebアプリケーションを開発する場合、コールドスタートが課題になる事が多いです。特にpandasやboto3のような重いライブラリを利用する場合は、その影響は無視出来ないものになります。 このコールドスタートについては、ユーザー側で対策出来る事があまりなく、いつも悩みの種になるのですが、つい最近、コンテナ形式のLambdaのコールドスタートについて検証されている記事を読み、pandasやboto3をimportする場合はコンテナ形式のLambdaの方がzip形式のLambdaよりもコールドスタートが短いと言う結論に
【コード付き】非線形の偏微分方程式の数値解法【Python】 - LabCode
偏微分方程式の数値解法とは偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。この方法は直感的で実装が比較的簡単ですが、グリッドの選択が解の精度に大きく影響します。有限要素法（Finite Element Method）: 問題の領域を小さな「要素」に分割し、各要素内で方程式を近似します。この方法は複雑な形状や境界条件を持つ問題に適しています。有限体積法（Finite Volume Method）: 保存
FastAPI と Mangum で作るサーバーレスAPI
はじめに こんにちは。hayata-yamamoto です。 唐突ですが、皆さんは「サーバーレス」お好きでしょうか？AWS であれば、Lambda, Fargate, Aurora Serverless あたりを思い浮かべるかもしれません。GCP にも似たようなサーバーレスサービスがありますよね。サーバーを自分たちで用意せず、クラウドベンダーが”いい感じに”設定したサーバーを拝借できることで、エンジニアはアプリケーションの開発に集中できる、そんなサービスです。オートスケールの設定が容易にできたり、リソース使用にかかる費用が従量課金になっており、ワークロードに合わせてコスト最適化を行いやすかったりと、さまざまなメリットがあります。 今回は、弊社でも採用しているサーバーレス構成（ServerlessFramework, FastAPI, Mangum)を紹介しながら、以下の点についてお伝えしま
FastAPI (mangum) を AWS Lambda で動かす
対象 PythonのFastAPIをAWS Lambdaで動かしたい人 カスタムイメージを使ってビルドしたい人 ローカルでの動作確認方法を知りたい人 AWSのリソース作成の概略を知りたい人 利用するライブラリのバージョン 以下のライブラリを利用します。 fastapiは執筆時点での最新版、mangumは0.11.0より新しいバージョンだとエラーが発生するため、このバージョンとしてます。 pydanticやstarlette, typing-extensionsはfastapiやmangumの依存ライブラリです。 fastapi==0.103.1 pydantic==2.3.0 starlette==0.27.0 mangum==0.11.0 typing-extensions==4.7.1 #カスタムイメージを利用する場合 #awslambdaric==2.0.7 概要 FastAPIはA
Python3.9系でSelenium4を使ったスクレイピングアプリをlambdaで動かそうと試みたが、その結果は・・・ - Qiita
はじめに 定期的な情報収集をしたかったため、スクレイピングのアプリを作ったのだが、今回はクラウド上（AWS の lambda）への移植を試みた。 結局 Selenium の起動が上手くいかず完成できていないのだが、これまでの備忘としてメモを残しておく。 使ったサービス & 主要ソフト s3 lambda （lambda layer も利用） Cloud9 （lambda layer に登録するための、パッケージやドライバーの取得に使用） pytho3.9系 seleium 4.16.0 メモ内容 ⓪ まずは前提 今回は Selenium を使うアプリだったので、ブラウザ挙動を確認する必要があった。 そのため、開発はローカルPC（Python3.9系）で行っている。 ちゃんと問題なく動くコードである事ができた上で、AWS上のサービスで作り直しする方法を検討（コードは基本的にそのまま移行の予定
FastAPIのLambdaからAWS外のサービスでキャッシュとDB構築！ + Github Actions - Qiita
概要 FastAPI、Pythonに詳しい方はご存じの方も多いかもしれません。 AWSのLambda関数と組み合わせるとどんな感じになるんだろう？と思って触り始めました。 色々学べたので、この機会に記事にしました！ こういったアーキテクチャが実現できるかな？という部分に焦点をおいています。また、可能な範囲でコストも抑える方針で進めました！ 主な目次 パート1：アプリケーション作成 インフラ構築（CDK Typescript） Lambda関数（FastAPIのアプリケーション）の作成 DBやcacheの構築の前に supabaseによるDB構築 upstashによるcache構築 パート2：GitHub Actionsと各ツールの利用 GitHub Actionsのworkflowは作ったが・・・ Ruffの利用（Linterツール） actの利用（ローカルでGitHub Actions）
Pipenv+LocalStackで作るLambda開発環境 | フューチャー技術ブログ
はじめにこんにちは、TIG/DXユニット所属の宮永です。 PipenvとLocalStackを使用したLambda開発環境の構築を紹介します。 本記事で作成するデモアプリは以下のGitHubリポジトリに格納しています。ご参考にしてください。 https://github.com/orangekame3/pipenv-lambda 【本記事で伝えたいこと】 本記事で最も伝えたいことはデプロイパッケージと開発パッケージの分離です。 Pipenvを使用することでzipの容量を節約しながらLambdaをデプロイすることができます。 やや長い記事となっていますので、「LocalStackへのデプロイ」の章だけでも見ていただけると幸いです。 PipenvとはPipenvはパッケージ管理ツールです。似たようなツールにPoetry等があります。 Poetryを使用したPython開発環境の構築は澁川さんの
Pythonでメソッドチェーンを実装する - Qiita
class MyList(list): ... def method(defined_type): def wrap(f): def wrapper(*args, **kwargs): return defined_type(f(*args, **kwargs)) return wrapper def decorator(f): setattr(defined_type, f.__name__, wrap(f)) return decorator @method(MyList) def map(l, func): return [func(el) for el in l] print(MyList([1, 2, 3]).map(lambda x: x+1).map(lambda x: x+2)) # [4, 5, 6]
Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る - JX通信社エンジニアブログ
はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに
【AWS・Lambda】Python外部ライブラリ読み込み方法 - Qiita
概要 AWS lambdaでは初期状態でpandasやnumpyなどの外部ライブラリを読み込むことはできません．読み込ませる方法は二つあって，一つ目はインストール済みのライブラリと実行ファイルをまるっとzipファイルにまとめてlambdaにアップロードする方法，二つ目はlambdaでLayerとして読み込ませる方法です．後者の方法がおすすめですが，本記事ではこれらの方法をコード管理の面と合わせてTipsとしてまとめました． 環境 MacOS Catalina docker 導入済み AWS CLI 導入済み はじめに lambda開発をブラウザ上で行うのはコード管理の面でよろしくないのでローカルで開発できるようにします．つまりgitHub管理できるようにローカルで作業を行いコードの変更を随時lambdaにアップロードするという形を取ります． ということでdocker-lambdaを使用して
LambdaのLayer機能活用してpandas,pyarrow,s3fs使ってParquet変換する簡易ETL処理を実装する - YOMON8.NET
小さなファイルのETLにGlueを使うのがもったいなかったので、Pandasやpyarrowで実装しました。 Lambda Layerにpandasとpyarrowを追加 Layerに登録するパッケージを作成 パッケージをアップロード Lambdaのコード エラー対応 参考 Lambda Layerにpandasとpyarrowを追加 Layerに登録するパッケージを作成 今回利用するのはpandasとpyarrow、s3fsなのですが少し工夫が必要でした。 ３つを全てを一つのZIPに纏めるとLambda Layerの50MBの制限にかかってしまいます。 3つにZIPを分割するとLambdaにレイヤー追加する時の制限にかかってしまいます。 Layers consume more than the available size of 262144000 bytes 大きなnumpyなどを共有
Lambda + Python3.7のログをJSON形式で出力してみる（行ごとに分割されない形で） | DevelopersIO
どうも！大阪オフィスの西村祐二です。 LambdaのログはCloudWatch Logsに出力されますが、別のサービスで参照するときや見やすくするためにJSON形式で出力したいときってあると思います。 簡単にできると思ったら少しハマってしまったので、ブログにしておきます。 はじめ、下記ブログを参考にloggingを使ったのですが、ログが行毎に分割されてしまいました。 【小ネタ】AWS Lambdaで複数行のログを送るときの挙動を調べてみた 環境 Python 3.7 最終的なコード 最終的なコードは下記のようなコードになりました。見せ方の関係で一つのファイルに記載していますが、別ファイルから呼び出すなどして使いやすくしてください。 下記リンク先を大いに参考させていただきました。 https://stackoverflow.com/questions/50233013/aws-lambda-
AWS Lambda（Python） の開発環境・テスト・デプロイ・CI 考察 | DevelopersIO
サーバーレス開発部では、AWS Lambda の Lambda Function をひんぱんに開発します。Lambda Function はその特性上、アプリケーションサーバーを持たず、Function として登録すればすぐに動かせます。また、接続するAWSサービスは多岐に渡り、プログラムから接続するためのSDKも用意されています。 Lambda Function の開発で感じる課題 開発を続ける中でいくつか課題を感じました。最初に思ったのは どこで開発すればいいんだ ということです。AWSのコンソールにいくと、 Lambda Function のためのエディタが埋め込まれており、そこで直接開発することもできます。便利！と思ったのですが、オンラインエディタはショートカットキーの制限などもあり、性に合いませんでした。また、複数の関数を作る場合の共通化や、複数メンバーで開発する場合のバージョン
EC2のスナップショットを自動的にAWS Lambdaで作成する - Qiita
AWS Lambda? サーバレスでプログラムを実行できるようなもの 1 か月 1,000,000 リクエストは無料 今回のような１日１回動かす程度なら無料でずっと使えます 詳しくは → https://aws.amazon.com/jp/lambda/faqs/ やりたいこと Lambdaのスケジュールイベントを使って自動的にEBSのスナップショットを作成する 今回使用する言語はPython スナップショットの対象は、EC2インスタンスのタグに「Backup-Generation」が付いているものとする Backup-Generationの値には、0以上の数字を指定する スナップショットの保存件数は、Backup-Generationの値とする 0のときはスナップショットを作成しない スナップショットの保存件数を超えた場合は、作成日付の古いものから削除する 作成したスナップショットのDe
Lambda PythonでAWS CLIコマンドを実行する方法 - プログラマでありたい
スケジュール機能の登場や最大稼働可能時間の延長で、バッチ的なタスクでLambdaを使いたいという要望が増えてきています。このバッチを新規で作る場合は良いのですが、既にAWS CLIで作りこんでいるという場合も多いでしょう。そうなるとPythonやNode.jsに移植するより、そのまま使いたいはずです。しかし、2015年10月現在ではLambdaではAWS CLIはサポートされていません。 しかし、非公式ですがAWS CLIについても使おうと思えば使えます。チラッと手順を紹介するので、興味がある人は自己責任で試してください。 AWSの設定 AWS絡みでは、下記の設定が必要です。特にCLI特有という訳ではないので、サラッと紹介だけしておきます。 Lambdaプロジェクトの作成 IAM Roleの作成 SNS関係の設定 Lambdaのエンジンは、Pythonを選択します。理由としては、AWS C
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【AWS Lambda】処理対象ファイルが大きい時に、メモリの大きな関数に代替処理をさせる際のTips | DevelopersIO