タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Jupyter Notebookと Boto3で AWS環境定義書を作成してみる | DevelopersIO
Jupyter Notebook(以降 Notebook) は実行可能なプログラムコードや分析結果、グラフなどを含んだドキュメントを作成するための OSSです。 画像：https://jupyter.org/ Pythonによるデータ分析でよく利用されます。 特徴として 「Markdown セル」と「Code セル」 を Notebook内へ配置できます。 データ分析のプロセスの文脈を Markdownセルに書くことで、 プログラムのコメント以上の表現力で、プロセスを記述できることできます。 データの可視化についても、Notebookは優秀です。 Matplotlib のグラフや、Pandas のテーブルなどを Notebook内にインライン表示してくれます。 さて、Markdownセルによるドキュメンテーション、 pandas によるテーブル表記でふと思いました。 「Jupyter No
コードでAWSをさわってみよう！プログラミング初心者向けAWS SDK（Boto3）の使い方 | DevelopersIO
Pythonのインストール 環境構築ガイドを参考にインストールしてください。 Boto3のインストール Boto3はAWS SDK for Pythonの別称であり、Pythonを介してAWSを操作するためのライブラリです。 公式ドキュメント記載のとおり、下記コマンドを実行しBoto3をインストールします。 Boto 3 Docs / Installation $ pip install boto3 importできればインストール完了です。 $ python Python 3.7.4 (default, Sep 10 2019, 14:34:03) [Clang 10.0.1 (clang-1001.0.46.4)] on darwin Type "help", "copyright", "credits" or "license" for more information. >>> i
はじめに AWS SDK は Exponential Backoff による自動再試行ロジックが実装されていますが、 Boto3 では 3 つのリトライ処理モードを選択できます。 legacy (デフォルト) standard adaptive botocore の GitHub リポジトリを確認すると、2020年2月ごろに standard および adaptive が 追加され、それ以前の実装は legacy という名称になっています。 Add support for new retry modes #1972 互換性のため、デフォルトが legacy となっており、standard/adaptive で追加された機能を 利用するにはリトライ処理モードを明示的に変更する必要があります。 リトライ処理モードの変更方法 botocore の config オブジェクトをインスタンス化し、設
AWS Python SDK(boto3)のリソース・インターフェースが改修凍結されました | DevelopersIO
2023/01/21更新 公式ドキュメントの記載が、"Warning"での"非推奨"と読み取れる表現から、"Note"の"改修凍結案内"に大きく変わったため、本ブログのタイトル・本文も、記載内容を大きく変えています。 AWS Python SDK(boto3)のドキュメントに、リソース・インターフェースの改修凍結の案内があったので、共有します。 注意 AWS Python SDKチームは、boto3のリソースインターフェイスに新しい機能を追加するつもりはありません。 既存のインターフェイスは、boto3のライフサイクルの間は引き続き機能します。顧客は、クライアントインターフェイスを通じて新しいサービスの機能にアクセスすることができます。 ※ChatGPT翻訳 AWS Python SDK(boto3)のインターフェースについて AWS Python SDK(boto3)には主に次の2インタ
AWS SDK for Python (Boto3) の “Client API” と “Resource API” の違いについて調べてみた | DevelopersIO
みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 AWS SDK for Python (Boto3) の特徴の一つとして挙げられることに、AWSのリソースを操作するAPIとして "Client API" と "Resource API" の2種類が用意されているという点があります。 (AWS SDK for Python (Boto3) トップページ の冒頭に書かれているほどです) これらの違いについてあまり分かっていなかったので、今回調べてみました。 なお、本ブログエントリは、以下の記事を読んでAWS SDK for Python (Boto3) に入門した方、入門しようとしている方のレベルを想定しています。 コードでAWSをさわってみよう！プログラミング初心者向けAWS SDK（Boto3）の使い方 ｜ Developers.IO 2023/01/19 追記：「Res
[Python] Boto3でのスレッドセーフまとめ。3種類のオブジェクトこれだけ覚えておけばOK | DevelopersIO
基本的にはclientが唯一の（マルチスレッドにおける）スレッドセーフなオブジェクトです。しかしネットワーク実装の関係から、マルチプロセスでは使用しないのが無難なようです。つまりマルチプロセスでは、すべてのBoto3オブジェクトは共有できません。 clientについて補足 clientはそのまま使用する分にはスレッドセーフですが、一部注意しなければいけない点があります。こちらをドキュメントから引用します。 Shared Metadata: Clients expose metadata to the end user through a few attributes (namely meta, exceptions and waiter_names). These are safe to read but any mutations should not be considered thr
![[Python] Boto3でのスレッドセーフまとめ。3種類のオブジェクトこれだけ覚えておけばOK | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/47371cd63121a4cc67ed74841e706530c7e548f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Fpython.png)
Boto3の利用する認証情報は「Credentials — Boto 3」にまとめられており、8か所から規定の順序で認証情報が検索されます。 認証情報の検索順序 Boto3はパラメーターやプロファイルなど複数の方法で認証情報を取得しようとする。その方法と順序は「Configuring Credentials - Credentials — Boto 3」にあって、該当部分の拙訳は以下の通り。 boto3の資格情報検索メカニズムは、以下のリストに沿って検索し、資格情報を見つけたらそこで停止することです。Boto3が資格情報を検索する順序は: boto.client() メソッドにパラメーターで渡された資格情報 Session オブジェクトの生成時にパラメーターで渡された資格情報 環境変数 共有された認証情報ファイル（~/.aws/credentials） AWS設定ファイル（~/.aws/c
Microsoft Visual Studio Code(VSCode) のお手軽で素晴らしい入力支援機能には お世話になっています。 AWS CDKのコーディングがとても捗ります。 さて、今更 Boto3を VSCodeで触り始めたのですが、 まず思ったのは 入力支援強化したいなあ です。 ▲ 何も出てこない… 調べてみると以下のような記事がありました。 Enable Intellisense for AWS Boto3 Type Hints in Microsoft Visual Studio Code botostubs という Pythonモジュールを使うことで入力支援を強化できるとのこと。 早速入れて 使ってみました。 目次 環境 セットアップ 試してみる おわりに 環境 VSCode: 1.41.1 Python: 3.7.3 pip3: 20.0.2 boto3: 1.11.
S3互換のCloudflare R2で署名付きURLを発行する（AWS CLI, Python + Boto3） | DevelopersIO
S3互換のCloudflare R2で署名付きURLを発行する（AWS CLI, Python + Boto3） どうも、ベルリンオフィスの小西です。 S3 互換のオブジェクトストレージ Cloudflare R2 では、S3 同様に署名付き URL をサポートしており、今回はそちらを試してみたいと思います。 先に書いておくと、作業は S3 に対して行うのとほぼ一緒です。S3互換ってそういうことかという感じで読んでもらえれば。 R2 署名付き URL でできること 署名付き URL を作成することで、バケット全体やオブジェクトを完全公開することなく、URL と署名を知る一部のユーザーのみに対し、期限付きでバケットやオブジェクトのアクセス・操作許可を付与することができます。 例えば、 一部のユーザーに、1 時間のみ限定のオブジェクトダウンロード URL を配布する 一部の管理者に、24h 有
boto3でIoT CoreのATSエンドポイントに接続する（SSL validation failedエラー対応） | DevelopersIO
最近、boto3でIoT Coreにアクセスすると、SSL validation failedエラーになる事があります。応急処置は下記ブログで紹介されていますが、本記事では根本対応をご紹介します。 環境 ライブラリ バージョン SSL validation failedエラーが発生する たとえば、boto3でIoT Coreにアクセスすると、SSL validation failedが発生します。 下記は、LambdaからIoT CoreのデバイスシャドウをGetする際のエラーメッセージです。 { "errorMessage": "SSL validation failed for https://data.iot.ap-northeast-1.amazonaws.com/things/led-device/shadow [SSL: CERTIFICATE_VERIFY_FAILED] c
[小ネタ] Python(Boto 3)で5GB以上のS3オブジェクトをコピーするときはcopyメソッドを使おう | DevelopersIO
はじめに 清水です。タイトル通りなのですが、Python(Boto 3)で5GBを超える容量のS3オブジェクトをコピーする場合には、copy_objectメソッドではなくcopyメソッドを使いましょう。copy_objectメソッドでは5GB以上のS3オブジェクトをコピーしようとしてもエラーとなってしまいます。当初このことを知らずにハマってしまったので、備忘録がてらまとめてみたいと思います。 copy_objectメソッドを使ったS3オブジェクトコピーのコード まずはPython(Boto3)でS3上のオブジェクトをコピーするのに典型的な、copy_objectメソッドを使ったコードを確認しておきましょう。AWS公式のSDKコードサンプルからの引用です。 aws-doc-sdk-examples/copy_object.py at master · awsdocs/aws-doc-sdk-
![[小ネタ] Python(Boto 3)で5GB以上のS3オブジェクトをコピーするときはcopyメソッドを使おう | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/55e5ee85a70b0b6893eeca79750f0d06a94b8595/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-s3.png)
Feedback Do you have a suggestion to improve this website or boto3? Give us feedback.
はじめに Boto3を利用する機会があったので、どのように動いているか気になったのでコードを読んでみた。その中で自分のための情報の整理や、実装が面白いな・なるほどなと感じた部分をまとめる。 Boto3を使ってAWS上での開発や、AWSのREST APIの理解などの役に立てば嬉しい。 Boto3とは Boto3とは AWS SDK for Python のことで、内部的にはAWS CLIでも利用されているBotocoreを利用している。 The SDK is composed of two key Python packages: Botocore (the library providing the low-level functionality shared between the Python SDK and the AWS CLI) and Boto3 (the package im
API GatewayのテストをBoto3で行ってみた（AWS SDK for Python） - NRIネットコムBlog
本記事は 基盤デザインウィーク 4日目の記事です。 🌈 3日目 ▶▶ 本記事 ▶▶ 5日目 💻 はじめに pytest・Boto3・API Gatewayについて pytestとは Boto3とは API Gatewayとは やってみた API GatewayでMock作成 作成したMockのテストをBoto3で実施 リソースパスのテスト レスポンス内容のテスト おわりに はじめに はじめまして。基デザウィーク4日目を担当します、入社1年目の深瀬です。昨年8月に基盤デザイン事業部へ配属となり、インフラエンジニアの道を進むことになりました。最初は「インフラ!?うっ…頭が痛い。。」と思っていましたが、いざ配属されるとなんとなく思い描いていたのとは違い、今のところ楽しくインフラエンジニアライフを過ごせています。 本記事では、Amazon API Gateway（以下API Gateway）の
PythonのAWSライブラリBoto3のSessionはスレッドセーフではないよという話 | DevelopersIO
こんにちは。サービスグループの武田です。 AWSのリソースを操作する方法としてマネジメントコンソールやAWS CLI、そして各プログラミング言語に用意されているSDKが利用できます。人気の高いPythonでは、Boto3というライブラリが提供されています。 さてそのBoto3ですが、基本的な使い方は次のような流れになります。 first_test.py import boto3 session = boto3.Session() client = session.client("sts") r = client.get_caller_identity() print(r) セッション作成 各サービス用のクライアント作成 API呼び出し 通常であれば、これ以上言及することは特にないのですが、マルチスレッドと組み合わせる際に少し注意が必要です。一連の流れで作成しているSessionオブジェクト
[MinIO]boto3で操作可能なS3互換ストレージをローカル上にDocker Composeで立てる方法 | DevelopersIO
t_o_dと申します。 AWSを利用しているとS3に格納しているデータをPython(boto3)で読み取り処理を行うケースは多いです。 非常に便利な反面、お金や権限の問題で開発時の気軽な実行は躊躇ってしまいます。 今回はboto3で操作可能なS3互換ストレージであるMinIOをローカル上にDocker Composeで立てる方法を記録いたします。 はじめに 本記事では以下を行います。 MinIO環境の構築 MinIOクライアント(mc)環境の構築 boto3での動作確認 なおMinIOやMinIOクライアントの詳細な操作方法等は割愛いたします。 環境 mac OS Monterey 12.6 Docker 20.10.14 Docker Compose 2.4.1 Python 3.10.8 手順 MinIO環境の構築 まずファイル群を入れるためのディレクトリを任意で作成します。 mkd
![[MinIO]boto3で操作可能なS3互換ストレージをローカル上にDocker Composeで立てる方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ffeec3819e865215ed9b2517d2bd179374a79716/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F07%2Fdocker_2.png)
boto3を使用してセキュリティグループのインバウンドルールを編集するpythonファイルを作ってみた | DevelopersIO
こんにちは。DA事業本部の下地です。 最近セキュリティグループ(sg)のインバウンドルールへの追加や削除を行う機会が増えてきましたので、コマンドライン引数で必要な情報を渡してインバウンドルールの編集を行うpythonファイルを作りたいと思います。 環境 実行環境は下記のようになります。 MacOS: Catalina 10.15.4 Python: 3.7.0 Boto3: 1.12.33 インバウンドルールの追加と削除 sgのインバウンドの追加と削除にはAWS SDK for Python (boto3)を使用します。boto3には“Client API” と “Resource API”の2種類が用意されています。違いについては弊社ブログにて(AWS SDK for Python (Boto3) の “Client API” と “Resource API” の違いについて調べてみた)
[レポート]Python初心者のためのPython/boto3ハンズオン #DOP203 #reinvent | DevelopersIO
本ブログはAWS re:Invent 2019のワークショップ『Get hands-on with Python/boto3 with no or minimal Python experience』のレポートです。 現地でワークショップに参加はできていませんでしたが、ワークショップの資料が公開されていたので実際にやってみました。 セッション概要 Learning a programming language can seem like a huge investment. However, solving strategic business problems using modern technology approaches, like machine learning and big-data analytics, often requires some understanding
![[レポート]Python初心者のためのPython/boto3ハンズオン #DOP203 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
[小ネタ] Boto3 で取得した AWS情報を素直に Markdownテーブルに表示する Pythonスクリプト | DevelopersIO
Boto3 で AWSのリソース情報を取得して、 Notebookや Markdownにまとめる記事を書いてきました。 Jupyter Notebookと Boto3で AWS環境定義書を作成してみる 【Pandas】SecurityGroups の情報を Markdownに表示する Pythonスクリプトを書いてみた 各AWSのリソースの種類ごとにテーブルの構造を考えたりしていたので、 もうちょっと汎用的なもの作れないかな と感じたのが今回のモチベーションです。 そこで以下のような入力 → 出力 を行うスクリプトを作ってみました (要 Pandas ≧1.0.0 )。 辞書(or 辞書のリスト) を見出し付きで Markdownテーブルに表示します。 目次 スクリプト 利用例 VPC EC2インスタンス S3バケット CloudFront ディストリビューション 終わりに スクリプト d
【Amazom Bedrock】Anthropicのclaude-v2をboto3経由でストリーミング応答させてみた - Qiita
Amazom Bedrockとは AmazonやStable DiffusionなどAI企業が提供する基盤モデル（FM）をAPIを通じて利用できるようにする完全マネージド型サービスです。 先日(9/28)にようやくGAしたので検証アカウントで早速使ってみました!! ■公式ブログ ■ ドキュメント ■ 料金 Bedrockを有効化 スクショを取り忘れたので、以下を参考に有効化すると流れが分かると思います。 早速ローカルから動かしてみる 先ずは普通に import boto3 import json session = boto3.Session(profile_name='AWSプロファイル') client = session.client( 'bedrock-runtime', region_name='us-east-1', ) prompt = ''' Human: AWSについて教
Docker Composeで立てたMinIOにmc/AWS CLI/Boto3で接続してみる - Qiita
MinIOとは Amazon S3と互換性のあるOSSのオブジェクトストレージ 2014年に設立されたMinIO, Inc.によって開発されている Amazon S3と互換性があるため、AWS CLIやAWS SDKからアクセス可能 ただしAmazon S3が提供している全てのインタフェースをMinIOが提供しているわけではないため注意 GitHubリポジトリ: https://github.com/minio/minio Docker Composeの設定 services: minio: # イメージは現時点で最新のものを指定している image: quay.io/minio/minio:RELEASE.2023-01-12T02-06-16Z container_name: minio ports: - 9000:9000 - 9001:9001 # ユーザ名/パスワードの設定 #
Python（Boto3）でDynamoDB上のデータの「アップサート」と「条件付き書き込み」を一度にできるのか確認してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 案件でIoTデバイスのステート管理をDynamoDB上のテーブルで行うことになり、そのときに以下のような仕様が要求されました。（実際よりは簡潔化しています） デバイスは自身のステート変更時にステート情報をAWSに送信してくる。 テーブル（state_table）では以下のAttributionを管理する。 deviceId(String)：デバイス識別ID（Partition Key） state(Boolean)：デバイスのステートのブール値 deviceTimeStamp(String)：ステート変更時にデバイス側で記録されるタイムスタンプ 新しいステートデータが送信されてくるたびに、そのデバイスのdeviceIdのキーのstateとdeviceTimeStampの値をDynamoDB上で更新する。 新規デバイスのステートデータは初回のステート送信
Amazon Mechanical Turk API (Python, boto3)を使ってお手軽タスク外注 - Qiita
Amazon Mechanical Turk API (Python, boto3)を使ってお手軽タスク外注PythonクラウドソーシングMechanicalデータ収集Turk はじめに 本記事では、Amazon Mechanical Turk (MTurk)を利用するためのPython API (boto3)の使い方について紹介していきます。 本物のワーカーに仕事を投げて、回答を確認するところまでカバーしています。 MTurkは数あるクラウドソーシングプラットフォームの中でも小回りがきく＆APIが使える点が素敵なサービスなのですが、如何せん国内では日本語のドキュメントが少なく盛り上がりに欠けています。 この記事で日本のMTurk利用が少しでも活発になるよう頑張っていきたい所存です。 注意 アカウント登録手順とか、MTurkのウェブサイト上でタスクを作っていく機能については、既に他のブログ
検索してここにたどり着いた人はとにかくやり方を知りたいと思うので、まずは結論から。 なお、Profileの登録って何？って方は以下の記事を参考にしてください 【小ネタ】AWS CLIでスイッチロールして作業を行うための設定をやってみた Profile名をソースコードに埋め込むパターン from boto3.session import Session session = boto3.Session(profile_name="switch-role-name") s3_client = session.client("s3") s3_client.list_buckets() Profile名は環境変数で設定するパターン(Mac/Linux) ソースコードに埋め込む場合、コードを展開するケースですとprofile名を統一しないとだめじゃないか、って声が聞こえてきそうですね。 その場合は起動
はじめに この記事では AWSが提供するAWS SDK for Python (Boto3)（以下、Boto3）を学習していく記事です。主な内容としては実践したときのメモを中心に書きます。（忘れやすいことなど） 誤りなどがあれば書き直していく予定です。 AWS SDKとは AWSが提供するAWSでリソースを操作し、構築に利用するツールです。 AWSの公式サイトには下記のように表現されています。 AWS での構築ツール AWS でアプリケーションを開発および管理するためのツール 選択したプログラミング言語を使用して、AWS でアプリケーションを簡単に開発する Python 固有の API と有益なライブラリを使って、アプリケーションを開発する 参考 サービスではなく、ツールの一つです。そもそもSDKとはなんでしょうか。 補足：SDKとは（SDKの定義） SDKとは何だったかここではCircl
VPC内のLambdaからはSES向けのVPCエンドポイントを使用してもBoto3ではメールを送信できない - Qiita
初めに 本記事はタイトルについて検証を行った詳細を記載します 書くきっかけですが、最近久しぶりにVPCと戯れることになりました。 VPCを使った構成ですんなり行った思い出はなく、実際に沼にハマりました。 ポイントをまとめましたので、どなたかのお役にたてば嬉しいです 結論だけ知りたい方は最後まで飛ばしてください 検証を行うことになった背景 VPC内のLambdaからメールを送る ただこちらを行いたいだけでした アーキテクチャとしては以下となります RDS→Lambda(VPC内)→SES→ユーザー あまり見ないアーキテクチャですね RDS Proxyがリリースされてから、LambdaとRDSの組み合わせは使用する頻度が多くなりました DynamoDBだけでは辛い部分もあるので、今後こちらのアーキテクチャは増えるようになるのではないでしょうか 実装するに当たって、どのようにVPCから外へ出るか
【Python3入門】boto3を使ってPython3とAWSに触れてみよう！【60分】 - サーバーワークスエンジニアブログ
ブログ移転に伴い、本記事内の文章、画像を一部修正。(2021/05/14) こんにちは、CI部の柿﨑と申します。 私はサーバーワークスに入社して3週間ほどですが、とても馴染みやすく毎日リラックスした状態で過ごせております。 このような環境で仕事ができることに感謝感激です！ そんなわけで、今回はPython3入門を題材にしてみます。 さて、今この記事をご覧の方で初めてプログラミングを勉強する際にこういったご経験はないでしょうか？ プログラミングを勉強したいけど何となく難しそうだからやらない 技術書などの内容が難しい (いきなり関数の話をされてもうまく想像がつかない) 日本語の技術ブログを見るばかりで公式ドキュメントを見る気が起きない Hello Worldを出力してみたものの、ここから先どうすればいいのか分からない あると思います！ かくいう私も入り口の部分でとても苦労しました。 プログラミ
CodeGuruにコードレビューされてみたらBoto3の便利機能Waitersを知った話 | DevelopersIO
こんにちは。AWS事業本部のKyoです。 スクリプト、便利ですよね。私も先日「CloudFrontのオリジンを別のものへ変更する」というPythonスクリプトを書いていました。主要な部分は、以下のような形です。 update_distribution 待機 create_invalidation（キャッシュクリア） update_distributionはアップデートのリクエストになるので、レスポンスが返ってきた後、各エッジロケーションにアップデートされた設定がデプロイされるのを数分程度待つ必要があります。ここを待たずにInvalidationを行うとアップデート前の情報が再びキャッシュされる可能性があります。 そんなわけで以下のような実装になりました（簡略化しています）。 client = boto3.client('cloudfront') # CloudFront distribut
夕方の涼しい時間になるまで液体と化してしまう季節になりました。 ▲ 麦茶が美味しい季節でもありますね こんにちは。Shirotaです。 今日は、LambdaでBoto3を使ってCloudWatchのメトリクスを取得したので、やりたかったことや実際に動かしたものをまとめてみました。 今回やりたかったこと CloudWatchのメトリクスをLambdaで取得したかったので、Boto3を使ってLambdaを作成してみました。 具体的には、MediaConvertのメトリクスの1つである「StandbyTime」の5分前の値を取得するコードをBoto3を使って書きました。 今回作成したもの ここからは、今回作成したものの簡単な解説とコードを紹介していこうと思います。 作成したLambdaにアタッチしたIAM Roleの権限 今回はLambda関数作成の際に新規で作成できるIAMRoleに、Clou
Feedback Do you have a suggestion to improve this website or boto3? Give us feedback.
import boto3 from time import sleep DATABASE = 'test_db' PAGE_SIZE = 1000 class AthenaResult: def __init__(self, client, query_execution_id): self.client = client self.query_execution_id = query_execution_id self.next_token = False def __iter__(self): return self def __next__(self): if self.next_token is None: raise StopIteration kwargs = { "QueryExecutionId": self.query_execution_id, "MaxResults"
![[Python] boto3でAthenaを使ったコードをMockでテストする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9a48bf574a9f8a3c3e6b875b89ddc276e715d662/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwYm90bzMlRTMlODElQTdBdGhlbmElRTMlODIlOTIlRTQlQkQlQkYlRTMlODElQTMlRTMlODElOUYlRTMlODIlQjMlRTMlODMlQkMlRTMlODMlODklRTMlODIlOTJNb2NrJUUzJTgxJUE3JUUzJTgzJTg2JUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgxJTk5JUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz03NWNkOTlkNWU2Mzg5NWMzZTIwODE2YTk5Y2IzYmIyMg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBuYWthbWFzYXRvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02MWQ4ZmQ2N2VjMTllY2M5OGFkZmEwMTM2OTY3ZWQzZg%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OT44O844OT44OD44OI%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D7d89e4fac95a4dabe5308c5be5583b9e)
はじめに IoT関係の案件で、ゲートウェイ(以下GW)からS3にあるファイルをダウンロードしたり、アップロードしたりする必要があったので、python(2.7)とboto3(AWS SDK for python)を使って実装してみました。その際の手順を備忘録的に残しておこうと思います。 最終目標 バケット内のファイルをダウンロードできるようになる 特定のディレクトリへファイルをアップロードできるようになる さあ、はじめようか boto3のインストール GWにssh接続でログインして、pipでboto3をインストールします。(GWはpython2.7 pipはインストール済み)
はじめに ローカル環境でBoto3を利用する時にコード内でprofile名を指定したり、アクセスキーを埋め込むことがある。それ以外にBoto3利用時にはConfigやDEBUGログ出力を設定することもでき、こちらは開発環境や本番環境でも活用できる。これらの設定は公式ドキュメントに記載されているがそれぞれ別のページに記載されているため、自分が一覧で見やすいようこの記事にまとめた(ง •̀_•́)ง Boto3自体を詳しく知りたい場合は、以下の記事も読んでみてください。 Sessionについて AWSのAPIを利用するメソッドを持つClient/Resourceオブジェクトは、boto3.client('AWS_SERVICE_NAME')やboto3.resource('AWS_SERVICE_NAME')を利用して生成できるが、この時の引数にいくつか設定を指定することができる。 impor
Python (boto3) で DynamoDB の条件付き項目追加・更新をやってみる - michimani.net
DynamoDB の項目追加 put_item() については過去に書いたのですが、その時は必須パラメータのみを指定して動作を確認しました。今回は、オプションパラメータを使用して項目の追加と更新をやってみます。 過去に書いた記事はこちら。 目次 準備 テーブルの作成 サンプルデータのロード 項目の条件付き追加・更新 既に存在する項目と同じキーを持つ項目を追加しようとしたときに上書きされるのを防ぐ 特定の条件を満たす場合のみ更新する まとめ 準備 今回は AWS の公式ページにあるサンプルデータを使います。 ステップ 1: サンプルテーブルの作成 - Amazon DynamoDB いくつかサンプルのテーブルとデータが用意されていますが、その中の Thread テーブルのデータを使います。 テーブルの作成 上のリンクではマネジメントコンソールでのテーブル作成手順が載っていますが、テーブルの作
AWS SDK for Python(Boto3)ではClient APIよりResource APIを使おう - Qiita
はじめに この記事はAWS初心者 Advent Calendar 2019 の14日目の記事です。 もし誤りがあれば指摘してもらえると幸いです。 要約 Boto3の中ではサービスによってリソースAPI(boto3.reosurce('サービス名')で呼び出すもの)があります。リソースAPIの方がクライアントAPIより抽象化されていて不要な情報を書かずに実装できるので、それぞれのAPIで同じことができる場合はリソースAPIを優先して使用した方が良いです。 記事全体の構成 まずBoto3、クライアントAPI、リソースAPIとは何だったのかを再確認します。 その後に両方のAPIを使用した場合にSQS、S3、DynamoDBの使用パターンを１ケースずつとりあげて比較してどう違うのかを具体的に見てみます。 最後に現在リソースAPIが提供されているサービスの一覧と所感を書いてます。 Boto3とは P
I am trying to figure how to do proper error handling with boto3. I am trying to create an IAM user: def create_user(username, iam_conn): try: user = iam_conn.create_user(UserName=username) return user except Exception as e: return e When the call to create_user succeeds, I get a neat object that contains the http status code of the API call and the data of the newly created user. Example: {'Respo
Python dict/listデータの『読み方』をもう一度丁寧に[json,aws-cli,api,boto3] - Qiita
Python dict/listデータの『読み方』をもう一度丁寧に[json,aws-cli,api,boto3]PythonAWSJSONdictionarylist 1. 本稿の概要 背景とゴール AWSなどを触っているとjsonフォーマットやそれをPythonで扱う際のデータ構造=dict型を操作することが増えてきます。 なんとなく分かるんだけど本当に 目的の設定値を参照できてるんかこれ？ ってのが多いなと感じています。 もう一度、ステップを踏んでdict型の『読み方』学んでいきたいので同時にアウトプットします。 pythonスクリプトでdictデータ構造の定義および目的のkey:valueの参照をしていきます。単純なものから始め、徐々に入れ子構造を含む複雑な形を解析していきます。 2. dict型の読み解き方 Lv.0 dict型とは そもそもdict型ってどこでどう定義されてんの
![Python dict/listデータの『読み方』をもう一度丁寧に[json,aws-cli,api,boto3] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e05a023c9828e8051c3634d03a3223f585e327e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9UHl0aG9uJTIwZGljdCUyRmxpc3QlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODElQUUlRTMlODAlOEUlRTglQUElQUQlRTMlODElQkYlRTYlOTYlQjklRTMlODAlOEYlRTMlODIlOTIlRTMlODIlODIlRTMlODElODYlRTQlQjglODAlRTUlQkElQTYlRTQlQjglODElRTUlQUYlQTclRTMlODElQUIlNUJqc29uJTJDYXdzLWNsaSUyQ2FwaSUyQ2JvdG8zJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02ZjU4MGU1NTYxOGQyNTFmMzA5NmVlZTQ0OTBlMTI2MQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwa2FuZ2FlemFydSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OWE3ZWFlMjE1Yjg0MDI4NDg0YmJmNWVkM2I0MWRjOGQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Debc9e9dedd212c47a93d117e7f831fde)
boto3から無理やりSecurity Hubのセキュリティスコアを算出してみた | DevelopersIO
こんにちは、臼田です。 みなさん、Security Hubでセキュリティチェックしてますか？(挨拶 今回はタイトルの通りboto3を使って無理やりSecurity Hubのセキュリティスコアを算出してみました。 背景 AWS Security HubはAWS環境をチェックし、セキュリティの状況とスコアを出してくれる素晴らしいサービスです。以下のようにマネジメントコンソールでわかりやすく確認できます。 しかしこのセキュリティスコア表示、実はユーザー側で実行できるAPIでは取得できません。 というわけで、このスコアを頑張って自分で算出してみました。 動きを分析して戦略を考える まずはセキュリティスコアがどのような根拠に基づいてスコアを算出しているか確認しましょう。 Security Hubのセキュリティ基準の詳細画面上部の概要には2つのグラフがあります。1つはセキュリティスコアの半円グラフで、
Boto3でAssumeRoleする際にSTSのリージョナルエンドポイントを使用する | DevelopersIO
こんにちは。サービスグループの武田です。 すべてのリージョンでAWS Configを有効化しようとしたところ、ある特定リージョンのみ次のエラーが出て処理が完了できませんでした。 An error occurred (UnrecognizedClientException) when calling the DescribeConfigurationRecorders operation: The security token included in the request is invalid あるリージョンというのは香港リージョン（ap-east-1）です。香港リージョンのみ処理が失敗すると聞いてピンとくる人もいるでしょうか。たとえば検索すると次のエントリがヒットします。 このエントリにもあるように、オプトインリージョンで正しく処理するためにはSTSエンドポイントに気をつける必要がありま
【DynamoDB/Boto3入門】DynamoDBでアトミックカウンタを実装しつつ更新式について学ぶ。 - サーバーワークスエンジニアブログ
こんにちは、技術一課の加藤です。先日、特定条件のファイルの個数をカウントするために、DynamoDBを使ったアトミックカウンタを実装しました。 こりゃー便利だと思うと同時に、DynamoDBのUpdateItemについてある程度わかっていないとちょっとだけ困るなあと感じたので、実装手順や注意点を備忘録的に書き残しておきます。 アトミックカウンタ 他の書き込みリクエストを妨害することなく、数値をカウントアップ/ダウンするようなカウンタのことをアトミックカウンタと呼びます。 例えばアクセスカウンタのような、1回の操作につき必ず1ずつカウントアップするような仕組みを考えるとします。普通に考えると、 SELECTして現在の値を取得する 取得した値に1を足して、UPDATEで値を更新する という2ステップが必要になりますがトランザクション管理をしっかりやっていないと、値の取得をしている間に別のクライ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Boto3 に追加されたリトライ処理モードを利用する - Qiita
Boto3（AWS SDK for Python）の利用する認証情報 - Qiita
【VSCode】botostubsで Boto3の入力支援を強化する | DevelopersIO
S3 - Boto3 1.34.102 documentation
Boto3(AWS SDK for Python)をコードリーディングして仕組みを理解する
スイッチロールしたIAM RoleをPython Boto3で使いたい | DevelopersIO
【AWS】用語を整理しながら学ぶAWS AWS SDK for Python (Boto3) - Qiita
CloudWatchのメトリクスをBoto3を使ってLambdaで取得してみた | DevelopersIO
Quickstart - Boto3 1.34.105 documentation
[Python] boto3でAthenaを使ったコードをMockでテストする - Qiita
boto3を使ってS3をごにょごにょする - Qiita
Boto3の設定あれこれ（profile名、アクセスキー、Config、DEBUGログの設定とか）
How to handle errors with boto3?
anond.hatelabo.jp
www.youtube.com
oshiete.goo.ne.jp
www.jiji.com
kawagoe.goguynet.jp
accessjournal.jp