AWS SDK For Python (Boto3) で「多要素認証(MFA)が必要なAssumeRole(スイッチロール)」をするスクリプトを書いてみる | DevelopersIO
オペレーション部の加藤(早)です。 上図のように、あるAWSアカウントのIAMユーザから別AWSアカウントに存在するIAMロールに対して MFA用のワンタイムパスワードを用いてAssumeRole(スイッチロール)するスクリプトを作成しました。 サンプルコード IAMユーザの持ち主がローカル端末で動かすことを想定しています。 ワンタイムパスワードは対話的に入力します。 from boto3.session import Session # 変数設定 PROFILE = 'default' # 端末の ~/.aws/credentials 内で設定しているプロファイル名 ROLE_NAME='myRole' # スイッチロール先のロール名 TARGET_ACCOUNT='123456789012' # スイッチロール先AWSアカウントID(12桁) REGION = 'ap-northeas
AWS Cloud Development Kit(CDK)(Python)を使って「VPC+Sagemaker+Lambda」環境構築してみた(Lambda編) | DevelopersIO
どーもsutoです。 前回の記事でAWS Cloud Development Kit(CDK)を使ってPythonコードでSagemakerノートブックインスタンス構築まで行ってきました。 前々回のVPC編はこちらです。 今回はsagemakerのノートブックインスタンスをスケジュール停止するLambda関数を追加していきます。 はじめに 今回、自分のアカウントで機械学習検証用環境のインフラを構築し、いつでも環境のデプロイ／破棄ができるように自動化＆コード管理したい、というモチベからAWS CDKを本格的に触ってみることにしました。 本検証の目標 AWS CDKのインストールと初期設定、VPC構築 Sagemakerのノートブックインスタンスを自動構築、VPCとの関連付け ノートブックインスタンスのスケジュールによる自動停止を行うLambdaの追加設定（←本記事） でやっていきます。 CD
Pythonで作るサーバーレス環境 AWSのスペシャリストが教えるLambdaの基本 | ログミーBusiness
「みんなのPython勉強会」は、Pythonを中心として、プログラミングを仕事、研究、趣味など、さまざまなシーンで生かす方法を一緒に学ぶ勉強会です。56回の今回は、サーバーサイドエンジニアをテーマに学びます。 AWSソリューションアーキテクトの西谷圭介氏が、前半ではサーバーレスについて説明しましたが、後半はいよいよその実行環境であるAWS Lambdaの基本について解説します。関連資料はこちら。 イベントドリブン西谷圭介氏：Lambdaには、イベントドリブンという言葉があります。イベントドリブンをちょっと簡単に説明したいと思うんですが、Lambdaとかサーバーレスアプリケーションにおける非常に重要なキーワードなんですね。先ほどのサーバーレスのスタックに置き換えたときにLambdaというものがようやく出てきたんですが、このイベントドリブンをキーワードにしたサービスと言えます。 イベントドリ
[初学者向け]PythonとTypeScriptを使ってLambdaで始めるaws-cdk | DevelopersIO
import cdk = require( '@aws-cdk/core' ); import lambda = require('@aws-cdk/aws-lambda'); import iam = require('@aws-cdk/aws-iam'); export class CdkStack extends cdk.Stack { constructor(scope: cdk.Construct, id: string, props?: cdk.StackProps) { super(scope, id, props); const executionLambdaRole = new iam.Role(this, 'secureLambdaRole', { roleName: 'lambdaSecureExecutionRole', assumedBy: new iam.Ser
S3 アクセスのニアリアルタイムな異常検出を pandas と Firehose で実装してみる | DevelopersIO
S3 の GuardDuty 的なサービスが本当は欲しいんやけど。無いものは無いので簡易的に異常アクセス数を検出する仕組みを作ってみた。 みなさん、S3 の異常アクセスてどうやって検出していますか？ EC2 への異常アクセスであれば GuardDuty がありますよね。CloudFront, ALB, API Gateway であれば AWS WAF がありますよね。S3 は？ S3 Access Analyzer？ あれは 99% アクセス分析やってくれそうなサービス名ですが、アクセスが来たものを対象に分析するサービスではなく、「アクセスされる危険性があるよー」という分析をしてくれるサービスなので違うんですよ。 AWS CloudTrail Insights？ あー、CloudTrai Insights は API コールのアクティビティを機械学習し、異常な挙動が起きた場合に知らせてくれ
[小ネタ] Python(Boto 3)で5GB以上のS3オブジェクトをコピーするときはcopyメソッドを使おう | DevelopersIO
はじめに 清水です。タイトル通りなのですが、Python(Boto 3)で5GBを超える容量のS3オブジェクトをコピーする場合には、copy_objectメソッドではなくcopyメソッドを使いましょう。copy_objectメソッドでは5GB以上のS3オブジェクトをコピーしようとしてもエラーとなってしまいます。当初このことを知らずにハマってしまったので、備忘録がてらまとめてみたいと思います。 copy_objectメソッドを使ったS3オブジェクトコピーのコード まずはPython(Boto3)でS3上のオブジェクトをコピーするのに典型的な、copy_objectメソッドを使ったコードを確認しておきましょう。AWS公式のSDKコードサンプルからの引用です。 aws-doc-sdk-examples/copy_object.py at master · awsdocs/aws-doc-sdk-
venvを使ってAWS CLI（v1）とAWS CLI v2を使い分ける（Mac, Linux編） | DevelopersIO
AWS CLI v2がGAされました！ [アップデート] リソース名の補完など強力な機能追加！AWS CLI v2 が GA されました！ ｜ Developers.IO が、気をつけないといけないことがあります。 AWS CLI version 1 と version2 には、一部互換性がありません。詳細は公式ドキュメントを御覧ください。 Breaking Changes – Migrating from AWS CLI version 1 to version 2 - AWS Command Line Interface 互換性が無いと言われてしまうと、v1で作ったコマンドはv1の環境で、v2で作ったコマンドはv2の環境で、使い分けて実行したくなります。 と、いうわけでPythonのvenvを利用して、v1とv2の環境を使い分ける方法を紹介します。 venvとは venvは、Pytho
Jupyter Notebookと Boto3で AWS環境定義書を作成してみる | DevelopersIO
Jupyter Notebook(以降 Notebook) は実行可能なプログラムコードや分析結果、グラフなどを含んだドキュメントを作成するための OSSです。 画像：https://jupyter.org/ Pythonによるデータ分析でよく利用されます。 特徴として 「Markdown セル」と「Code セル」 を Notebook内へ配置できます。 データ分析のプロセスの文脈を Markdownセルに書くことで、 プログラムのコメント以上の表現力で、プロセスを記述できることできます。 データの可視化についても、Notebookは優秀です。 Matplotlib のグラフや、Pandas のテーブルなどを Notebook内にインライン表示してくれます。 さて、Markdownセルによるドキュメンテーション、 pandas によるテーブル表記でふと思いました。 「Jupyter No
[アップデート] リソース名の補完など強力な機能追加！AWS CLI v2 が GA されました！ | DevelopersIO
本日、AWS CLI v2 の GA がアナウンスされました！ AWS CLI v2 is now generally available ちょっと使ってみましたが、あまりの便利さに感動しております！ AWS CLI v2 従来の AWS CLI v1 に比べてインストールが容易（python のバージョンがーーっ！！とか悩まない）になっているだけでなく、AWS シングルサインオン（SSO）対応、リソース名の補完やウィザードオプションなど強力なインタラクティブ機能が追加されています。 あと、YAML 形式の出力も使えますね！ 詳細については、Shirota の re:Invent のセッションレポートをあわせてお読みください。 また、今回の記事では触れていない AWS SSO 対応については、Kitano の記事を参照ください。 何はともあれインストール 今回は自分の mac に AWS
Lamdbaの開発を便利にするPythonのアプリケーションフレームワークJeffyが公開されました | DevelopersIO
CX事業本部@大阪の岩田です。 下記リンクの通りServerless OperationsさんからJeffyというOSSのアプリケーションフレームワークが公開されました。 AWS Python Lambda用のアプリケーションフレームワークJeffyをリリースしました！ サーバーレスなシステム開発ではServerless FrameworkやSAMを利用することが多いと思いますが、これらのフレームワークは「アプリケーションフレームワーク」ではありません。リソースの管理やデプロイを簡略化することはできても、アプリケーションのコードは開発者が全て実装する必要があり、コード量の削減や保守性の向上には寄与しません。じゃあDjangoのようなフレームワークを使ってLambdaを開発すればいいのか？というと、そういうわけでもありません。DjangoはLambdaの開発向けに設計されたフレームワークでは
Lambdaのログ出力にオススメしたいPythonのライブラリLambda Powertools | DevelopersIO
CX事業本部@大阪の岩田です。 皆さんはLambda Functionからログを出力する際に、どんな形式でログを出力していますか？後々CloudWatch Logs Insightsで分析することを考えると、やはりログはJSON形式で出力しておきたいところです。出力する項目に関して考えると、リクエストIDなんかは必須と言えるのではないでしょうか？今回紹介するLambda Powertoolsを使うと、このあたりのログ戦略が簡素化できるので良ければお試し下さい。 環境 今回利用した環境です ランタイム: Python3.8 Lambda Powertools: 0.3.0 AWS Lambda Logging:0.1.1 Lambda Powertoolsとは？ Python3.6以上で利用できるAWS Lambda用のユーティリティライブラリです。 構造化ログ(JSONログ)を出力するため
DynamoDBでのトランザクションを実際に使って考えてみる。 - Qiita
背景 AWS使ってサーバーレスで自分用の家計簿的なwebサービスを勉強も兼ねて開発中。消費情報を登録する部分を作り、最近それに加えて残金管理を出来るようにした。 そうなると１つの消費情報登録で、複数のテーブルに対して更新を行う事になる。整合性を保つために、トランザクション制御を行いたい。 防ぎたいケース 片方のテーブル更新後、別テーブルの更新に失敗による不整合データ発生 複数人同時処理時、更新前データ取得による不正値更新（自分しか使わないけど） DynamoDBの特性復習 読み込み整合性 を強力にする事は出来るが、基本的に結果整合性を使うべき。（複数ノードに書き込まれる前に読み出すと古いデータが読まれる） javaでDynamoDBトランザクションを実現してるライブラリ が存在する 2018年末にDynamoDBのトランザクション機能 が発表された。前述ライブラリでなく、こちらを使用するの
2019年を振り返る(機械学習の世界に足を踏み入れた) - shnagaiの日記
年末で、ちょうどアドベントカレンダーの枠があったので今年一年の活動を振り返っていこうと思う。 この記事はコネヒト Advent Calendar 2019 21日目の記事です。 2019年は結構自分の働き方が変わった一年でもあったので、下記2点を中心に書いていく。 機械学習の世界に足を踏み入れた アウトプット中心の活動ログ 機械学習の世界に足を踏み入れた 組織の大きな変化もあり、今年から業務として機械学習に取り組んでいる。(元々興味はあったのでチャレンジするいい機会に恵まれたというのが正直なところ) ここでは、機械学習関連のものだけに絞って時系列でどんなことをやっていたのかを振り返ろうと思う。 1〜3月 当時のCTOの @tatsushim がPythonによるはじめての機械学習 という本を執筆しており、そのレビュワーとしてこの本を通じて機械学習を学び始めた。 この本は、機械学習の初学者が
AWS SDK for Python(Boto3)ではClient APIよりResource APIを使おう - Qiita
はじめに この記事はAWS初心者 Advent Calendar 2019 の14日目の記事です。 もし誤りがあれば指摘してもらえると幸いです。 要約 Boto3の中ではサービスによってリソースAPI(boto3.reosurce('サービス名')で呼び出すもの)があります。リソースAPIの方がクライアントAPIより抽象化されていて不要な情報を書かずに実装できるので、それぞれのAPIで同じことができる場合はリソースAPIを優先して使用した方が良いです。 記事全体の構成 まずBoto3、クライアントAPI、リソースAPIとは何だったのかを再確認します。 その後に両方のAPIを使用した場合にSQS、S3、DynamoDBの使用パターンを１ケースずつとりあげて比較してどう違うのかを具体的に見てみます。 最後に現在リソースAPIが提供されているサービスの一覧と所感を書いてます。 Boto3とは P
PythonやAWSのスキルに対する需要が急増--米IT求人
過去5年間の求人情報の分析によれば、米国の労働市場でもっとも需要の高いITスキルはSQLとJavaだという。 しかし、同じ期間に求人ウェブサイト「Indeed.com」のIT分野の求人で起きたもっとも大きな変化の1つは、Pythonに対する需要の大幅な増加だ。 Pythonのスキルに言及している求人情報は、2014年9月には8％だったが、2019年9月には18％にまで増えた。2019年9月に、Javaに言及している求人情報は20.8％で、SQLは21.9％だ。 Python需要が急増している理由には、データサイエンス分野の拡大や、昨今の機械学習や人工知能（AI）に対する関心の高まりが挙げられることが多く、これにはサードパーティーのPythonパッケージや開発ツールが充実していることも影響している。 また、Python 2.xのサポート終了が近づいているため、膨大な量のPythonのコードを
サーバレース環境で「カオスエンジニアリング」が実装できる aws-lambda-chaos-injection を試してみた | DevelopersIO
こんにちは。コンサル部のテウです。 カオスエンジニアリングの主なターゲットとしては Server-based のことが多いですが、Serverless 環境でのカオスエンジニアリングが簡単にできる python ベースのライブラリーが公開されています。今回はこのライブラリーを試してみたのでの紹介記事となります。 目次 Chaos Lambda (Chaos Injection for AWS Lambda) とは 先日AWSJで開催された Chaos Engineering Recap 2019 のセッションの一つで紹介されたこの Chaos Lambda というライブラリーはAWSで Principal Evangelist として働いている Adrian Hornsbyさんが開発したライブラリーです。Githubで公開されたライブラリーですが、Lambda環境で簡単にカオスエンジニアリ
[初心者向け]言われるままにFargate初めて触ったので、忘れないための記録 | DevelopersIO
こんにちは、平野です。 先日、部内の進捗報告のSlack部屋で 15分制限に引っかかりそうなのでLambda → Fargateへの変更作業 という文言を見かけました。 先日GlueのPython shellを使ってLambdaの15分の壁を越えようとした記事を書きましたが、 15分の壁を越えろ！GlueのPython shellでVPC Lambdaもどきの長時間ジョブを動かしてみた Fargateでも同じようなことができるのか、と思い、早速試してみようとしました。 （が、今回の記事ではそこまで達成できてません！） しかし、Fargateのこと何も知らないマンだったので、まずどこから触ったらいいのかまったく不明でした。 Fargateの入門記事を調べても、既存のECS環境からFargateへの移行記事などが多く Fargateがある時代にECSデビューする私にとってはツライものがありまし
![[初心者向け]言われるままにFargate初めて触ったので、忘れないための記録 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b6f361f3ee8728c6842ae104992fa3df666e5032/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-fargate.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「aws lambdaでpythonを実行するときのチューニング案を試してみた！」というタイトルで登壇しました。 | DevelopersIO
[やってみた] Jetson Nano でDeepComposerのWorkshop Lab2（GANカスタムモデルの学習＆推論）をやってみた。#AIM223 #reinvent 2019 | DevelopersIO![[やってみた] Jetson Nano でDeepComposerのWorkshop Lab2（GANカスタムモデルの学習＆推論）をやってみた。#AIM223 #reinvent 2019 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b2c233b42e0728942b78ac6b789e836402cb884b/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Fjetson-nano.png)
[アップデート]AWS SAMのデプロイが簡単になりました | DevelopersIO![[アップデート]AWS SAMのデプロイが簡単になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/de1c08c8c629a54525f721846a0a99bd275fc7d7/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F11%2Faws-sam.png)
