スイッチロールしたIAM RoleをPython Boto3で使いたい | DevelopersIO
検索してここにたどり着いた人はとにかくやり方を知りたいと思うので、まずは結論から。 なお、Profileの登録って何？って方は以下の記事を参考にしてください 【小ネタ】AWS CLIでスイッチロールして作業を行うための設定をやってみた Profile名をソースコードに埋め込むパターン from boto3.session import Session session = boto3.Session(profile_name="switch-role-name") s3_client = session.client("s3") s3_client.list_buckets() Profile名は環境変数で設定するパターン(Mac/Linux) ソースコードに埋め込む場合、コードを展開するケースですとprofile名を統一しないとだめじゃないか、って声が聞こえてきそうですね。 その場合は起動
AWS SDK For Python (Boto3) で AssumeRole を使ってみた | DevelopersIO
はじめに Pyhtonでプログラミングしていてコードの中で別のAWSアカウントへの操作を実施したい場面に遭遇しました。 今回はAWS SDK For Python (Boto3) でAssumeRole を使ってAWSアカウントを切り替える方法についてのご紹介です。 サンプルコード #!/usr/bin/env python # -*- coding: utf-8 -*- import boto3 from boto3.session import Session # 現在のAWSアカウントで操作 client = boto3.client('sts') account_id = client.get_caller_identity()["Account"] print(account_id) # AWSアカウントの切り替え IAM_ROLE_ARN = 'arn:aws:iam:: 01
EC2インスタンスをboto3を使って立ち上げてコマンドを実行するまでの流れ - FPGA開発日記
boto3を使ってEC2のインスタンスを立ち上げるところまではできるようになった。次は、立ち上げたインスタンスに対してコマンドを発行して、EC2インスタンスに任意の操作を実行できるようにする。 boto3経由でEC2インスタンスを操作するためには、SSMという機能を使用する必要があるようだ。 SSMというのはAmazon Systems Manager Agentの略称らしく、AWSのAPIを使用してEC2インスタンス内の制御を行うための環境らしい。ちなみに、Amazon Linux, Amazon Linux 2, Ubuntu 18.04 LTS, Ubuntu 16.04 LTSのAMIならば標準でインストールされている。 ここではAmazon Linux2を使うのでSSMは標準でインストールされているのだが、これを使うためにはSSMのRoleを有効にする必要があるようだ。 つまり、
Python3の対話シェル上でKinesis Streams上のレコードを読みだす - Qiita
Pythonと boto3 によるAmazon Kinesis Streamからのレコードの読みだしを、対話型シェル上でステップバイステップで実行してみました。現在のレコードをちょっと確認してみたいと思って確認した際のメモです。 前提 APIアクセス用の認証情報がAWS CLIでデフォルトプロファイルまたは名前付きプロファイルに格納されていること Pythonがインストールされていること（ここではAnaconda 2020.02 for Windows Installerを使用しました） boto3がインストールされていること 手順 Boto3（AWS SDK for Python）のインポート Kinesisのクライアントの生成 Streamの取得 StreamのShardの取得 StreamのShardのイテレータの取得 イテレータからのレコード取得 実行 boto3 をインポートしK
Python アプリケーションで AWS Secrets Manager シークレットを取得する - AWS Secrets Manager
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Python アプリケーションで AWS Secrets Manager シークレットを取得する シークレットを取得するときに、Secrets Manager の Python ベースのキャッシュコンポーネントを使用して、将来使用するためにキャッシュすることができます。キャッシュされたシークレットの取得は、Secrets Manager からの取得よりも高速です。Secrets Manager API を呼び出すにはコストがかかるため、キャッシュを使用するとコストを削減できます。シークレットを取得するすべての方法については、「シークレットの取得」を参照してください。 キャッシュポリシーは LRU (最近最も使われていない) であるため、キャッシュでシークレットを破棄
Use Python SQLAlchemy ORM to interact with an Amazon Aurora database from a serverless application | Amazon Web Services
AWS Database Blog Use Python SQLAlchemy ORM to interact with an Amazon Aurora database from a serverless application As organizations work to modernize their traditional applications to an event-driven, serverless model, a question that comes up frequently is how the object-relational mapping (ORM) layer should be managed. Packaging it with AWS Lambda functions increases its size and adds a cognit
AWS、PythonでMeCabを使う際の語彙データを無料公開 | Ledge.ai
アマゾン ウェブ サービス ジャパン株式会社（Amazon Web Services、AWS）は、同社のオープンデータセットに、日本語自然言語処理で定番の形態素解析器である「MeCab」を、ラッパーライブラリであるfugashi経由でPythonで使用する際の語彙（ごい）データに加えた、と公式ブログで明らかにした。 多くの機械学習デベロッパーが、AWS上でさまざまなアルゴリズムの開発やモデルを構築している。なかでも、自然言語処理をする際には、対象言語の特性に即した形で前処理をする必要がある。日本語の自然言語処理を実施する際には、一般的に「形態素解析」と呼ばれる文章の分解処理を前位処理として実施する。 日本語形態素解析をするためには、日本語の語彙データが必要になる。語彙データは大きなサイズになるだけではなく、これらを用いた計算の際にも大量のGPUおよびCPUが求められる。そのため、従来このよ
AWS、Pythonから「MeCab」を利用する際の語彙データをOpen Dataとして公開
アマゾンウェブサービスジャパンは、日本語自然言語処理で定番の形態素解析器である「MeCab」を、ラッパーライブラリである「fugashi」経由でPythonにて使用する際の語彙データ「UniDic」が、「Open Dataset」に追加されたことを、10月9日に発表した。 「MeCab」は、オープンソースの形態素解析器で、日本語の形態素解析において幅広く用いられており、言語、辞書、コーパスに依存しない汎用的な設計を基本とし、高速に動作する。 「fugashi」は、「MeCab」をPythonから使用する際のラッパーライブラリで、unidic-pyとの連携によって「UniDic」を簡単に読み込んで使用できる。 「UniDic」は、国立国語研究所によって構築された、日本語テキストを単語に分割し、形態論情報を付与するための電子化辞書。 データはAmazon S3上でホストされているので、AWSで
Pythonを使って、画像認識や音声認識を学ぶ——リックテレコム、「使ってわかったAWSのAI」を刊行｜fabcross
本書はAWSのAIサービスについて、全体像を掴むことを目的とした解説書だ。 全5章構成。第1章で人工知能全般について、第2章でAWSの機械学習サービスについてそれぞれ解説した後、第3章「AIサービス」では、Pythonを使って画像認識（Rekognition）や音声認識（Transcribe）、自然言語処理（Amazon Comprehend）やドキュメント分析（Amazon Textract）など、各種AIサービスやSDKについて解説する。トレーニングデータを準備し、時系列予測のための予測モデルを作成するAmazon Forecastについても触れる。 また、第4章では完全マネージド型の機械学習サービス「SageMaker」の組み込みアルゴリズムの作成、第5章ではEC2環境を利用して深層学習フレームワーク「Deep Learning AMI」について解説する。 著者は井上研一氏。B4変型
はじめてのFargate~FargateとDocker Hubを使ってJupyter Notebook環境を用意する~ | DevelopersIO
オンラインコミュニケーションを、多分人一倍満喫しております。 ▲ Slackが俺のホームタウンだぜ テキストベースのやり取りが大好きで、オンラインの住人になっているAWS事業本部のShirotaです。私の実体を覚えている人がいなくなるまで、各方面で努力していこうと思っています。オンライン快適！ 本日は「Fargate + Docker HubでJupyter Notebook環境を用意してみた」お話をしたいと思います。 今回、作業の前提となる準備の話が結構な分量を占めているので、実際の作業手順のみを手っ取り早く確認したい方は、目次から「FargateとDocker HubでJupyter Notebook環境を用意する」の項目に飛んで頂けますと作業内容が書かれた箇所に移動できます。 良かったらご活用下さい。 経緯からゆっくりとお付き合い下さる方はこのまま読み進めて下さい。 手軽に綺麗なJu
Sphinxのイケてるドキュメントを自動デプロイしてS3で公開する！ | DevelopersIO
最近Sphinxつかってドキュメントを書いてるのですがなかなかイケています。 SphinxとはPython製ドキュメンテーションビルダーで、reStructuredTextという記法で書かれたテキストファイルをHTMLやPDFなどに変換することができます。 SphinxはPythonの公式ドキュメントなどにも使われており、見たことある方も多いのではないでしょうか。 今回は「Sphinxを自動デプロイ&公開する方法」を紹介したいと思います。 構成図 せっかちな人へ GitHubの方にソースコード全部あげています。 Sphinxのインストール 詳細は公式ドキュメントを確認ください。 pipenvを使ってライブラリをインストール pipenv install sphinx クイックスタート pipenv shell sphinx-quickstart 作成されたファイル $ tree -L 2
AWS SDK for Python (Boto3)を使ってCloudWatchの値を取得してみた | DevelopersIO
サーモン大好き横山です。 今回は AWS SDK for Python (Boto3)がリリースされたということで、CloudWatchのlist-metricsとget-metric-statisticsの結果を取得します。 はじめに EC2のAmazon Linux 2015.03のt2.microにPowerUserAccessのRoleを適用したインスタンスを使用します。 そして、Python2.7のvirtualenv+pipでboto3をインストールしていきます。 $ mkdir -p /tmp/boto3 $ cd !:2 $ virtualenv venv27 $ . venv27/bin/activate (venv27)$ pip install -U pip (venv27)$ pip install boto3 boto3.clientの作成について boto3.c
AWS SDK for Python | AWS
リソース API Boto3 には、2 つの異なるレベルの API があります。クライアント（「低レベル」）API では、下層の HTTP API 操作との 1 対 1 のマッピングが提供されます。 リソース API では、明示的なネットワーク呼び出しが表示されず、属性にアクセスしアクションを実行するためのリソースオブジェクトとコレクションが提供されます。(例: 整合性のある最新のインターフェイス Boto3 の "クライアント" インターフェイスと "リソース" インターフェイスには、AWS API を記述した JSON モデルによって実行される動的に生成されたクラスが用意されています。これにより、サポートされているすべてのサービス間で強力な整合性を維持しながら、極めて迅速に更新を実行できます。 Python 2 および 3 のサポート Boto3 は、Python バージョン 2.7、
LambdaでAWSの料金を毎日Slackに通知する（Python3） - Qiita
はじめに 個人アカウントは基本的に無料枠で運用しているので、少しでも請求がある場合はいち早く気づきたいです。 先日、とあるハンズオンイベントで使ったリソースを消し忘れて、最終的に$30ぐらい請求が来てしまいました。。。 CloudWatchで請求アラートは設定していますが、閾値超えが想定の場合、当然見逃すことになり、最終的な請求額に驚くハメになります。 これを防ぐためにLambdaで毎日SlackにAWS料金を通知することにします。 先日LambdaがPython3に対応したので、せっかくだし勉強がてらPython3で実装したい。 ネット上にはNode.jsでの実装例が多いようで、今回はこちらを参考にPython3で実装してみます。 必要なもの Slack incoming-webhooks URL 取得についてはこちらを参考に 適当なchannel lambda-uploader req
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://sage.amazon.com/posts/431992
Connecting to your DB instance using IAM authentication and the AWS SDK for Python (Boto3) - Amazon Relational Database Service
Write data to Redis from PySpark
CloudWatch - Boto3 1.34.117 documentation