API GatewayのテストをBoto3で行ってみた（AWS SDK for Python） - NRIネットコムBlog
本記事は 基盤デザインウィーク 4日目の記事です。 🌈 3日目 ▶▶ 本記事 ▶▶ 5日目 💻 はじめに pytest・Boto3・API Gatewayについて pytestとは Boto3とは API Gatewayとは やってみた API GatewayでMock作成 作成したMockのテストをBoto3で実施 リソースパスのテスト レスポンス内容のテスト おわりに はじめに はじめまして。基デザウィーク4日目を担当します、入社1年目の深瀬です。昨年8月に基盤デザイン事業部へ配属となり、インフラエンジニアの道を進むことになりました。最初は「インフラ!?うっ…頭が痛い。。」と思っていましたが、いざ配属されるとなんとなく思い描いていたのとは違い、今のところ楽しくインフラエンジニアライフを過ごせています。 本記事では、Amazon API Gateway（以下API Gateway）の
ローカル環境のStreamlitにAmazon Cognitoで認証をかける - Qiita
みなさま、Bedrockしてますか？ Streamlitを使ったBedrockのデモアプリが出来上がったら、いろんな人に使ってもらいたいですよね。 AWS上で構築する場合は、CognitoとALBを組み合わせると簡単にログイン機能が実現できます。 ただ、デモとして作ったものをちょっと動かすために、EC2を構築するのは少し面倒ですし、インターネット公開は抵抗があるかもしれません。 EC2を起動するほどではないのでローカル環境で動作させたい 利用者を限定したいので認証機能はほしい こんな要件を満たせないか調査したところ、良い方法が見つかりましたのでご紹介します。 アーキテクチャ Oauth2 ProxyとAmazon Cognitoを使います。 Oauth2 Proxyは認証機能を提供するリバースプロキシサーバーです。未ログイン状態でアクセスするとログイン画面に遷移させ、ログイン状態では、バッ
S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意 | DevelopersIO
データアナリティクス事業本部のueharaです。 今回は、S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意しましょうという話をしたいと思います。 はじめに Boto3を利用してS3間でファイルコピーをするというのはよくあるケースだと思います。 中でも、大きめの容量のファイルをコピーする際は以下のブログでも紹介されているように S3.Client.copy() メソッドを利用するかと思います。 ただ、この関数をデフォルトのまま使用するとファイルコピーの速度といったパフォーマンス面で課題が生じるケースがあります。 ファイルコピーを行う際の設定値について S3.Client.copy()メソッドは Config という引数を持っており、こちらは boto3.s3.transfer.TransferConfigを受け取ります。 ここで、デフ
FastAPI と Mangum で作るサーバーレスAPI
はじめに こんにちは。hayata-yamamoto です。 唐突ですが、皆さんは「サーバーレス」お好きでしょうか？AWS であれば、Lambda, Fargate, Aurora Serverless あたりを思い浮かべるかもしれません。GCP にも似たようなサーバーレスサービスがありますよね。サーバーを自分たちで用意せず、クラウドベンダーが”いい感じに”設定したサーバーを拝借できることで、エンジニアはアプリケーションの開発に集中できる、そんなサービスです。オートスケールの設定が容易にできたり、リソース使用にかかる費用が従量課金になっており、ワークロードに合わせてコスト最適化を行いやすかったりと、さまざまなメリットがあります。 今回は、弊社でも採用しているサーバーレス構成（ServerlessFramework, FastAPI, Mangum)を紹介しながら、以下の点についてお伝えしま
FastAPI (mangum) を AWS Lambda で動かす
対象 PythonのFastAPIをAWS Lambdaで動かしたい人 カスタムイメージを使ってビルドしたい人 ローカルでの動作確認方法を知りたい人 AWSのリソース作成の概略を知りたい人 利用するライブラリのバージョン 以下のライブラリを利用します。 fastapiは執筆時点での最新版、mangumは0.11.0より新しいバージョンだとエラーが発生するため、このバージョンとしてます。 pydanticやstarlette, typing-extensionsはfastapiやmangumの依存ライブラリです。 fastapi==0.103.1 pydantic==2.3.0 starlette==0.27.0 mangum==0.11.0 typing-extensions==4.7.1 #カスタムイメージを利用する場合 #awslambdaric==2.0.7 概要 FastAPIはA
pytestとmotoを使ってPynamoDBの単体テストを実行してみる | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 PythonでDynamoDBを操作する際にboto3を使っても良いのですが、Object-Document Mapper（ODM）として大変使いやすいPynamoDBがあります。今回はPynamoDBで記述したコードの単体テストをモックフレームワークのｍotoを使って行ってみたいと思います。 Welcome to PynamoDB’s documentation! — PynamoDB 5.5.1 documentation getmoto/moto: A library that allows you to easily mock out tests based on AWS infrastructure. PynamoDBとは PynamoDBはDynamoDB用のODMになり、DynamoDBの 様々な処理を簡単にに
ChatGPTでPythonのdiagramsを使ってAWSのサービス構成図生成コードを作ってもらう - Taste of Tech Topics
夏の暑さもだいぶ落ち着いてきていよいよ秋めいてきました、そろそろサンマがおいしい季節ですね、菅野です。 AWSを用いて様々なアーキテクチャを作成することが可能ですが、どういった構成になっているのかを一目で表すには図が効果的です。 手動でPowerPointや、draw.io等の作図ツールを用いて作成することも多いのではないか、と思いますが、ChatGPTで簡単に出力できたら便利ですよね。 Advanced Data Analysysの動作環境ではDiagramsライブラリがインストールされていないため、Pythonコードを直接ChatGPTで動かして構成図を出力してもらうことはできませんでした。 なので、今回はChatGPTにPythonのライブラリDiagramsを用いてクラウドの構成図を作成するPythonコードを作成してもらいましょう。 今回の検証ではGPT-4モデルを利用します。
Pipenv+LocalStackで作るLambda開発環境 | フューチャー技術ブログ
はじめにこんにちは、TIG/DXユニット所属の宮永です。 PipenvとLocalStackを使用したLambda開発環境の構築を紹介します。 本記事で作成するデモアプリは以下のGitHubリポジトリに格納しています。ご参考にしてください。 https://github.com/orangekame3/pipenv-lambda 【本記事で伝えたいこと】 本記事で最も伝えたいことはデプロイパッケージと開発パッケージの分離です。 Pipenvを使用することでzipの容量を節約しながらLambdaをデプロイすることができます。 やや長い記事となっていますので、「LocalStackへのデプロイ」の章だけでも見ていただけると幸いです。 PipenvとはPipenvはパッケージ管理ツールです。似たようなツールにPoetry等があります。 Poetryを使用したPython開発環境の構築は澁川さんの
SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに 前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）に触れました．今回はこのモデル学習の再現性のために必要な実験結果（ハイパーパラメータの引数の値，モデル評価指標など）の管理をSageMaker Experimentsでしているというお話です． ※本エ
機械学習プロジェクトにおけるSageMaker Processingの使い所 - コネヒト開発者ブログ
みなさんこんにちは。機械学習チームのたかぱい（@takapy0210）です。 2021年もあと1ヶ月となりましたね。皆様いかがお過ごしでしょうか。 ...さて12月といえば、毎年恒例のアドベントカレンダーの季節ですね！ というわけで、2021年もコネヒト Advent Calendarが始まります！🎉 初日となる本エントリでは、機械学習チームで使用しているSageMaker*1の機能である、Processing*2について、活用事例とともにご紹介しようと思います。 目次 SageMaker Processingとは? SKLearnProcessor / PySparkProcessor Processor / ScriptProcessor これまでの課題感 SageMaker Processorの活用方法 SageMakerからECRにあるコンテナを指定してProcessor Job
Diagramsを使ってsystem architecture図をアップデートし続ける - hatappi.blog
最近 Twitter を見ていたら Diagrams という Python 書いたら良い感じのシステム構成図ができるサービスが流れてきた。 diagrams.mingrammer.com プライベートのインフラ構成図は今まで Cacoo で描いていたけど、今回 Diagrams に移行した。 なぜ Diagrams で書くのか プライベートでは terraform だったり Kubernetes のマニフェストを1つのリポジトリで管理している。 AWS の構成や Kubernetes に変更を加える時はいつもそのリポジトリにコミットしてもろもろ終わった後に Cacoo の図を更新していた。 Cacoo は書きやすくて好きなのですが、自分としては図を更新する前の時点で達成感に満たされていつも終わっていました。 そしてどんどん実態と差分が広がり更新しなくなりました。 Diagrams を使うこ
【AWS・Lambda】Python外部ライブラリ読み込み方法 - Qiita
概要 AWS lambdaでは初期状態でpandasやnumpyなどの外部ライブラリを読み込むことはできません．読み込ませる方法は二つあって，一つ目はインストール済みのライブラリと実行ファイルをまるっとzipファイルにまとめてlambdaにアップロードする方法，二つ目はlambdaでLayerとして読み込ませる方法です．後者の方法がおすすめですが，本記事ではこれらの方法をコード管理の面と合わせてTipsとしてまとめました． 環境 MacOS Catalina docker 導入済み AWS CLI 導入済み はじめに lambda開発をブラウザ上で行うのはコード管理の面でよろしくないのでローカルで開発できるようにします．つまりgitHub管理できるようにローカルで作業を行いコードの変更を随時lambdaにアップロードするという形を取ります． ということでdocker-lambdaを使用して
AWS Data Wranglerを使って、簡単にETL処理を実現する | Amazon Web Services
Amazon Web Services ブログ AWS Data Wranglerを使って、簡単にETL処理を実現する 2019年9月、Github上にAWS Data Wrangler(以下、Data Wrangler)が公開されました。Data Wranglerは、各種AWSサービスからデータを取得して、コーディングをサポートしてくれるPythonのモジュールです。 現在、Pythonを用いて、Amazon Athena(以下、Athena)やAmazon Redshift(以下、Redshift)からデータを取得して、ETL処理を行う際、PyAthenaやboto3、Pandasなどを利用して行うことが多いかと思います。その際、本来実施したいETLのコーディングまでに、接続設定を書いたり、各種コーディングが必要でした。Data Wraglerを利用することで、AthenaやAmazo
AWS Glueをローカル環境で実行してみた | DevelopersIO
環境変数を設定します。MavenとSparkのパスは個人の環境に合わせて変更してください。 echo 'export PATH=$HOME/.apache-maven-3.6.2/bin:$PATH' >> ~/.bash_profile echo 'export SPARK_HOME=$HOME/.spark-2.2.1-bin-hadoop2.7' >> ~/.bash_profile echo 'export JAVA_HOME=`/usr/libexec/java_home -v 1.8`' >> ~/.bash_profile Pythonでローカル開発 AWS Glue Pythonライブラリを取得 GitHubからAWS Glue Pythonライブラリをダウンロードします。以降の作業はAWS Glue Pythonライブラリのルートディレクトリで行います。 https://
AWS Lambda（Python） の開発環境・テスト・デプロイ・CI 考察 | DevelopersIO
作るもの ヒーローを管理する Lambda Function を書きます。ヒーロー情報は DynamoDB の ヒーローテーブルに格納するものとします。リポジトリは以下。 * Python Lambda SAM + SAM Local Project コーディング作業 すべてはコードを書くところから始めます。いきなりプロジェクトルートにファイルを置いて書き始めるのも良いですが、後々テストやデプロイも行うことになるので少し整理してみます。以下のようにしました。 . ├── buildspec.yml ├── deploy.sh ├── docker-compose.yml ├── environments │ ├── common.sh │ └── sam-local.json ├── integration_test.sh ├── requirements.txt ├── src
aws-cliはs3転送の帯域制御をどのように実現しているのか
こんにちは。CTOの馬場です。 できるようになった、というのは見たものの、 具体的にどのように実現しているのか気になったので調べてみました。 こういうの、気になりません？わたしは気になります。 最近はコードの追い方の紹介をあまり見ないので、探し方を含めて紹介します。 なお30代後半以降の方にはお馴染みの、 find ... | xargs grep を使っていますが、 GitHubの検索機能でも代替可能です。 5秒でわかる結論 LeakyBucketです aws-cliではなくbotoで実装されています コードの追い方 ここからは地道に追ってみます。 読むだけだと何がなんだか...だと思うので、 操作したりリンクに飛んだりしながら試してみてください。 ※jediやVSCodeで定義にジャンプできる環境がある場合はインストールしてジャンプしていけばもっと楽に追えると思います 下準備 まずはa
EC2のスナップショットを自動的にAWS Lambdaで作成する - Qiita
AWS Lambda? サーバレスでプログラムを実行できるようなもの 1 か月 1,000,000 リクエストは無料 今回のような１日１回動かす程度なら無料でずっと使えます 詳しくは → https://aws.amazon.com/jp/lambda/faqs/ やりたいこと Lambdaのスケジュールイベントを使って自動的にEBSのスナップショットを作成する 今回使用する言語はPython スナップショットの対象は、EC2インスタンスのタグに「Backup-Generation」が付いているものとする Backup-Generationの値には、0以上の数字を指定する スナップショットの保存件数は、Backup-Generationの値とする 0のときはスナップショットを作成しない スナップショットの保存件数を超えた場合は、作成日付の古いものから削除する 作成したスナップショットのDe
Lambda PythonでAWS CLIコマンドを実行する方法 - プログラマでありたい
スケジュール機能の登場や最大稼働可能時間の延長で、バッチ的なタスクでLambdaを使いたいという要望が増えてきています。このバッチを新規で作る場合は良いのですが、既にAWS CLIで作りこんでいるという場合も多いでしょう。そうなるとPythonやNode.jsに移植するより、そのまま使いたいはずです。しかし、2015年10月現在ではLambdaではAWS CLIはサポートされていません。 しかし、非公式ですがAWS CLIについても使おうと思えば使えます。チラッと手順を紹介するので、興味がある人は自己責任で試してください。 AWSの設定 AWS絡みでは、下記の設定が必要です。特にCLI特有という訳ではないので、サラッと紹介だけしておきます。 Lambdaプロジェクトの作成 IAM Roleの作成 SNS関係の設定 Lambdaのエンジンは、Pythonを選択します。理由としては、AWS C
AWSで構築した環境にありがちなシェルスクリプトたち まとめ ｜ DevelopersIO
AWSでサーバを運用する際にはEC2からAWS CLIを使って他のAWSのサービスと連携したりすることがあると思いますが、AWS環境ならではのシェルスクリプトを集めてみました。AWS CLIのバージョンは1.7.13、Pythonのバージョンは2.6.9を使っています。私はAmazon Linuxで動作を確認しています。 目次 準備する AWS CLIのインストール AWS CLIのアップデート aws configureでセットアップする IAM roles for EC2 instancesに関して 監視系 CloudWatchでカスタムメトリクスを設定する ZabbixからCloudWatchの値を取得する プロセス監視する バックアップ系 AMIとEBSのバックアップを作成する RDSのスナップショットを作成する S3のフォルダを削除する 便利スクリプト系 Route53の自動登録
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
S3 Utilities