awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はRyeを使ったPythonの実行環境構築についてご紹介します。 Ryeについて RyeはRustで実装された、Python環境をワンストップで管理できるツールとなっています 今まではpyenv + poetryやpyenv + pipenvなどpyenvとの組み合わせで構築が必要だったものが、RyeだけでPythonインタープリタ含めて管理することが可能です。 RyeはRustのrustupとcargoにインスパイアされた、Pythonの新しいパッケージング体験を構築する実験的な試みとなっており、作者により「Production Readyではない」と紹介されていますが、検証用等個人で使用するには使い勝手はかなり良かったのでご紹介致します。 公式ページは以下となります。 セットアップ インス
抜粋 : Release cadence - Amazon Linux 2023 メジャーリリースとマイナーリリースの内容は以下AWS公式ドキュメントに記載されています。メジャーリリース時には互換性があるか十分に検証した上でアップデートしましょう。 Major version release— Includes new features and improvements in security and performance across the stack. The improvements might include major changes to the kernel, toolchain, Glib C, OpenSSL, and any other system libraries and utilities. Major releases of Amazon Linux ar
概要 内部挙動 ELFバイナリの準備 .go.buildinfo section Goのバージョン module情報 ldflagsについて Goのソースコード .go.buildinfo マジックバイト Goのバージョン情報へのポインタ module情報へのポインタ EXEファイルの処理 余談 まとめ 概要 Goでビルドしたバイナリは色々な情報を含んでいます。例えばビルドに使用したGoのバージョンを取得できます。 $ go version ./test ./test: go1.15.2 そしてついこの間知ったのですが、 -m オプションを使うことで利用しているmoduleの情報も取得可能です。 $ go version -m /usr/local/bin/terraform /usr/local/bin/terraform: go1.14.9 path github.com/hashic
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
[入れ子のキー選択] CloudFront ディストリビューションの設定値を取得 cloudfront list-distributions で CloudFront(CF)ディストリビューションの情報を取得できます。 aws cloudfront list-distributions --output json # { # "DistributionList": { # "Items": [ # { # "Id": "XXXXXXXXXXXXXX", # "ARN": "arn:aws:cloudfront::123456789012:distribution/XXXXXXXXXXXXXX", # "Status": "Deployed", # "LastModifiedTime": "2020-02-21T04:11:45.412000+00:00", # "DomainName":
はじめに データアナリティクス事業本部のkobayashiです。 Pythonを使って開発を行っていると、AWSのリソースを扱う際にはboto3でしたりデータ解析を行う場合はPnadas,Scipyなど様々なパッケージを使っているかと思います。 今回、その利用しているパッケージの依存関係やパッケージを調べる機会があったのでその方法をまとめたいと思います。 環境 Python 3.7.4 pipdeptree 1.0.0 pip-licenses 2.2.1 パッケージ依存関係とライセンスを調べるツール 今回使用したツールは以下になります。どちらのツールもきちんと継続的にメンテナンスされており、pipでインストールできるのでこれらを使いました。 パッケージ依存関係をツリーで表示するツール pipdeptree · PyPI pipでインストールしたPythonパッケージを依存関係ツリー形式で
AWS Parameters and Secrets Lambda Extensionの実装について色々確認してみた | DevelopersIO
CX事業本部@大阪の岩田です。 AWS Parameters and Secrets Lambda Extensionの実装が気になったので色々試してみました。 レスポンスヘッダー AWS Parameters and Secrets Lambda ExtensionはLambda実行環境内でHTTPサーバーを起動します。このHTTPサーバーがパラメータやSecretの取得リクエストを処理してくれるわけですが、レスポンスヘッダに何か特徴は無いのでしょうか？試しに以下のコードを実行してレスポンスヘッダを確認してみましょう。 import json from urllib import request import os from pprint import pprint def lambda_handler(event, context): headers = { 'X-Aws-Parame
自分が間抜けすぎて殺したくなったので、ハマり防止のメソッドを考えてみた。 - Qiita
今日は心底自分にあきれ果てた。ある問題に悩み始めたのが１５時ごろで、終わったのが２２時だから、７時間かかったことになる。その問題の解決方法が分かったときには正直自分を殺したくなった。本当は夕方から筋トレにいって、ごはん食べながらNetflix見て、ギター弾いてとかたくさんできたし、技術だけをやっていたとしても、７時間あったら、相当勉強できるしコードも書ける。そんな目にもうあいたくないので、今回の原因を分析して、メソッドに落とし込んでみた。 今回起こった問題の整理 私の解こうとした問題は簡単だった。というか過去にも似たような問題を解いたことがある。自分が今日は思ったように貢献できなかったら、今日一つぐらい貢献して帰ろうと思って、過去にやったことある問題をピックアップした。問題は単純で、.NET Core 3 のアプリをデプロイする ARM template とスクリプトを作成するというものだ
amazon-redshift-python-driverを使ってPythonからRedshiftに接続する | DevelopersIO
データアナリティクス事業本部の森脇です。 本日AWSから、PythonのRedshiftドライバーに関する情報 がアナウンスされました。 元々クローズドで開発されていたドライバーがOSS化され、amazon-redshift-python-driver という名称で一般公開されました。 以下の特徴をそなえています。 Apache 2.0 License Pure Pythonライブラリ Database API 2.0 準拠 pandas, numpyと簡単に連携可能 今まではpsycopg2を使うことが一般的でしたが、今後はこちらのドライバーを使うのが良さそうですね。 早速試してみました。 (pythonのバージョンは3.8.3で試しています) インストール pipを使ってインストールできます。 [tmp]$ python --version Python 3.8.3 [tmp]$ rm
opencv-python を AWS Lambda で実行してみた - KAYAC Engineers' Blog
この記事はTech KAYAC Advent Calendar 2019の8日目の記事です。 こんにちは！技術部の ひめの です。 クライアントワーク事業部のフロントエンドで2年半 → サーバーサイドエンジニアで1年ちょっと働いています。趣味でラーメンを食べ漁っています。 つい先日の re:Invent 2019 の発表で、RDS + Lambda のコネクションプール周りやコールドスタート問題の軽減の話もあり、どんどん AWS Lambda で解決できる幅が広がっているのを感じます。 Lambda のセッションについてはクラスメソッドさんの Developers.IO にて紹介されてます。 [速報]コールドスタート対策のLambda定期実行とサヨナラ！！ LambdaにProvisioned Concurrencyの設定が追加されました #reinvent [速報]これでLambdaの
[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO
新たにリリースされた「Glue Version 2.0」では、Sparkジョブの開始時間が10倍速く、最低10分ではなく最低1分の1秒単位で請求になります。インタラクティブなマイクロバッチをより素早くコスト効率よく実行できるようになりました。さらに新しいPythonモジュールの追加・更新、Pythonパッケージインストーラー（pip3）を使用して追加のモジュールをインストールもサポートされました。 本日は、「Glue Version 2.0」のSparkジョブの利用方法と起動時間について実際に確認してみます。 AWSJ亀田さんの記事ですが、「世界の亀田さん」なので、執筆時点では英語のみです。 新しい Glue Version 2.0 - Spark ETL ジョブ Glue Version 2.0 - Spark ETL ジョブの選択 Spark ETL ジョブでは、新しいSaprk 2.
![[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
asgiref==3.8.1 boto3==1.34.78 botocore==1.34.78 certifi==2024.2.2 charset-normalizer==3.3.2 Django==4.2.11 idna==3.6 jmespath==1.0.1 python-dateutil==2.9.0.post0 requests==2.31.0 s3transfer==0.10.1 six==1.16.0 sqlparse==0.4.4 urllib3==2.2.1 プロジェクトを維持していく中では依存ライブラリのバージョンを上げていきましょう、があるわけですが、この状態のファイルをメンテナンスするのはかなり大変な作業になってしまいます。 （これは例として作ったものですが、実際のファイルはそれはもうとてもお見せできない…） 直接依存しているライブラリはどれですか そこで、依存管理
北海道札幌市在住、サーバー専門のフリーランスエンジニアです。クラウドサービスを利用してWebサイト、ITシステムのサーバー構成設計とサーバー構築を行います。 はじめに 2018年9月、RDS Auroraクラスターの停止、開始機能がリリースされました。 ・Amazon Aurora がデータベースクラスタの停止、開始へのサポートを開始 https://aws.amazon.com/jp/about-aws/whats-new/2018/09/amazon-aurora-stop-and-start/ ※この停止機能は、クラスターの機能ですので、Auroraクラスターに複数のリードレプリカが存在する場合、マスターとリードレプリカがすべて停止します。2018年12月時点では、マスターや特定のリードレプリカのみを停止することはできないようです。 それまでは、Aurora以外のDBエンジンのRDS
C#で動的にJsonパースしたい！ C#でもクラスを準備することなくjsonを jqや python 、node.js のようにダックタイピングしたいことがあります。たとえば、 C#クラスを準備するのが面倒。ネストが多くてPOCOクラスだらけになる。 int なのに "NULL" や "-" が入ってくるWebAPIがいる。 ちょっとデータ欲しいだけなのにコンバーター作ったり、属性つけたり面倒。 APIが適当すぎてクラス定義できない・・・ .NET6 で動的にjsonを扱うクラス JsonNode が追加されています。その使い勝手をベンチマーク含めて他の方法と比較します。 サンプルのjsonデータ HeartRails Express から 山手線の駅一覧 を使わせていただきました。このjsonから駅名一覧を抽出するサンプルを作っていきます。 jqコマンドなら jq ".response.
Kubernetes + Ansible = Kubespray ~KubesprayからAnsibleに入門する~ - TECHSTEP
はじめに Kubernetesクラスターをオンプレやクラウド上の仮想マシンの上に構築する場合、Kubernetes The Hard Wayのようにイチから全てを構築するか、構築用のツールを利用する方法があります。Kubernetesクラスターを構築するツールは複数存在し、代表的なものとしては以下のようなものがあります。 Kubeadm: Kubernetesが公式で提供するツール。 Kops: Kubernetes Operations。現在はAWSを公式にサポートするツール。 Rancher: Rancher Labsの提供するマルチクラスター構成ツール。 Kubespray: Ansibleを利用してKubernetesクラスターを構築する。 このうち今回紹介するのはKubesprayになります。 KubesprayはAnsibleを利用するクラスター構築ツールです。Ansibleは
はじめに AWS SAMを試すため、LocalStackへデプロイしようとしたら、通常のsamコマンドでは、おそらくデプロイ先のエンドポイントURLを変更できないため、LocalStackへデプロイできませんでした。 そこで、LocalStackが提供するsamlocalコマンドを使用するとデプロイできました。 また、ローカル環境をあまり汚したくなかったため、Docker (+ Docker Compose) のみで試しております。 この記事は以上のことについて、備忘録としてまとめたものです。 前提条件 DockerとDocker Composeがインストールされていること。 やってみた LocalStackを起動させておく $ git clone https://github.com/localstack/localstack.git Cloning into 'localstack'.
mangum + FastAPI で ASGI な Python アプリケーションを AWS Lambda + API Gateway 上で動かす - らくがきちょう
mangum を使うと FastAPI や responder といった ASGI アプリケーションを AWS Lambda + API Gateway 上へ簡単にデプロイすることが出来ます。 今回は FastAPI で書いた ASGI アプリケーションを mangum を使って AWS 上でデプロイする手順をメモしておきます。 mangum init の注意点 最初に mangum init する ハンドラは app/asgi.py に定義する mangum のプロジェクト名は AWS ルールに準拠したものにする mangum cli には削除機能が無い プロジェクトディレクトリを作成する mangum-cli をインストールする AWS CLI をセットアップする AWS S3 上に Bucket を作成する デプロイ用の設定ファイルを作成する requirements.txt を修正
[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)
EC2 インスタンス削除時に、自動でEBS ボリュームも削除されるつもりだったのにうっかり残っていた、という経験はありますでしょうか。 このようなとき、アタッチされていない EBS ボリュームの一覧を取得したいときがあるかもしれません（ありました）。 AWS CLI で調べるときのコマンドを控えておきます。 ボリュームの状態が available が「ボリュームはインスタンスにアタッチされていません」とのことなので、--filters オプションで status が available なものに絞った上で、 --query オプションで表示項目を調整することにします。 Name タグの値だけ表示したい場合 $ aws ec2 describe-volumes --filters Name=status,Values=available --query 'Volumes[*].Tags[?k
![[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e39a5896cc20fb9679ab2818f6c2694b519ca18/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10328749687235026646%2F13574176438087195328%2F1651154489)
はじめに まれにですが、aws-cliはあるのにjqが使えないという環境があります。 jqをいれればよいではないかという指摘はもっともなのですが、そうもいかない場合があるので、そんなときに使えるjp.pyを説明します。 JAWSUG CLI支部 のテキストで知りました。 JMESPathとjp.py について JSON用のクエリ言語 JMESPathのpython実装がjp.pyです。 JMESPathは aws-cliの query オプションでも利用できます。 jp.pyはaws-cliをインストールすると一緒にインストールされ、かつ、単体のコマンドで実行可能な点が嬉しいです。 JMESPathについては チュートリアル(英語)も参考になります。 jqと目的は一緒ですが、言語が違います。 使い方 aws-cliで取得したインスタンス一覧から、jp.pyでインスタンスIDを取得します。
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました | DevelopersIO
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました いわさです。 半年ほど前の次のアナウンスでも紹介されていますが、aws-portal プレフィックスを始め、いくつかのアクションが 2023 年 7 月 6 日に廃止になります。 以前のアップデートで、既に新しいアクションを有効化して移行の準備を行うことが出来るようなったことを紹介しました。 あと 1 ヶ月弱で既存のアクションが使用できなくなりますが、このタイミングでポリシーの更新をアシストしてくれるスクリプトが提供されました。 先に軽くまとめると、このスクリプトを使うことで廃止予定のアクションを使っているポリシーを抽出し、対象ポリシーに対して新しいアクションへ置き換わったステートメントをサジェストしてくれます。 さらに一括更新機能で
この記事はUMITRON Advent Calendar 2022 1日目の記事です。 こんにちは、UMITRONの宮山（@jkatagi）です。最近はSplatoon3とポケモンバイオレットの両作をプレイして忙しい日々を送っています。さて、今年も昨年に引き続きUMITRONでAdvent Calendarを開催することになりました。嬉しいことにたくさんの方から「Advent Calendar読みました！」という声をいただいております。 UMITRON Advent Calendar 2022 1日目は技術的な話として、AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話を書きます。 UMITRONで取り扱うデータについてUMITRONでは持続可能な水産養殖を地球に実装するをミッションに、日々いろんなデータを取り扱っています。そのデータは魚の動画像から
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた | DevelopersIO
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた 定期起動・停止するEC2インスタンスをタグで指定したい こんにちは、のんピ(@non____97)です。 皆さんは定期起動・停止するEC2インスタンスをタグで指定したいなと思ったことはありますか? 私はあります。 EventBridge SchedulerでStopInstancesやStartInstancesを定期実行することで、簡単にEC2インスタンスを定期起動・停止させることが可能です。 ただし、どちらのAPIもインスタンスIDを指定する必要があります。 インスタンスIDを指定するとなると、対象となるインスタンスが増えた場合やリストアした際にインスタンスIDが変更となった場合など都度EventBridge Schedulerのペイロ
はじめに anible-runnerとansible-builderは名前こそ聞いたことがあったが触ったことがありませんでした。 Pythonのスクリプトからansibleを動かしたいなと考えたときに、ansible-runnerが使えるという情報をいただいたので入門してみました。 まずは手始めにansible-builderで作成したコンテナをansible-runnerで動かすのをやってみようと思います。 ansible-builder Ansible BuilderはAnsibleの実行環境をコンテナで用意するためのPythonモジュール ansible-runner Ansible Runnerは、コンテナを介してPlaybookを起動したり Pythonスクリプトなどに組み込むことで直接Ansibleの起動が可能になるPythonモジュール 前提条件 コンテナの実行環境を事前に準
Mocking service integrations with AWS Step Functions Local | Amazon Web Services
AWS Compute Blog Mocking service integrations with AWS Step Functions Local This post is written by Sam Dengler, Principal Specialist Solutions Architect, and Dhiraj Mahapatro, Senior Specialist Solutions Architect. AWS Step Functions now supports over 200 AWS Service integrations via AWS SDK Integration. Developers want to build and test control flow logic for workflows using branching logic, err
AWS CloudShell 上でフェデレーションサインイン用 URL を生成してみた | DevelopersIO
ちょっと環境を覗いてもらうために一時的な URL を払い出す コンバンハ、千葉（幸）です。 「ちょっと環境を覗いてもらうために AWS マネジメントコンソールへの接続情報を提供したい」 「かといってわざわざ専用の IAM ユーザーやロールを払い出すのは避けたい」 ということがあるかもしれません。 AWS CloudShell のドキュメントを眺めていると、そんなケースにマッチしそうなチュートリアルを見つけました。 フェデレーションサインイン用の URL を生成するスクリプトを載せてくれているので、これが活用できそうです。 ここでは特定の S3 バケットの特定のプレフィックス配下のオブジェクトに対する操作のみ許可するというシチュエーションが想定されていますが、ある程度柔軟にカスタマイズできるのでそれ以外のケースでも転用できます。 何をするのか やっていることは以下のエントリとほぼ同じです。こ
Azure 仮想マシンの使用頻度の高いサイズ一覧
Bシリーズ 公式見解では「Bシリーズはburst可能な仮想マシン」と謳われており、使っていない時はクレジットが蓄積され、使っている時はクレジットが消費されます。ですので、概念検証、小規模データベース、開発ビルド環境などの常日頃使わない用途が最適です。 というのが、公式の見解ですが、Bシリーズの最大のメリットはメモリ1G, CPU1コアのような極小仮想マシンが作成できる事です。後述のDシリーズをスポット仮想マシンとして使用するよりも費用削減になります。 「Bシリーズ」はスポット仮想マシンをサポートしていません。 難点は、余りに極小過ぎるスペックなので、動作確認したい内容によってはサポート対象外どころかvalidationエラーとなり検証すら出来ません。例えば、「高速ネットワーク」や「ホストでの暗号化」はStandard_B2sでは動作しません。 「Bシリーズ」の使用可能な仮想マシンのサイズは
[VS Code] アクティブなエディターのタブの背景色を変える tab.activeBackground - てくなべ (tekunabe)
はじめに VS Code のエディター部分でファイルを開くとタブ表示になりますが、いまアクティブ（開いている）なタブどれなのか色的に少しわかりにくなと感じていました。 アクティブなタブの背景色を変える方法を Twitter で教えていただいた（ありがとうございます！）のでこちらにも共有します。 変更前 私の環境では以下のような表示です。この場合 jmespath.yml がアクティブです。 これをもう少し際立たせたいと思います。 どれを開いてるのかわかりにくかった 変更 setting.json で workbench.colorCustomizations 内で tab.activeBackground で背景色を指定します。 私の設定例 { "workbench.colorCustomizations": { "tab.activeBackground": "#666666cc", }
![[VS Code] アクティブなエディターのタブの背景色を変える tab.activeBackground - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/37ee8ed3a84d7abe75ede92cbce3f843881593a7/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Fakira6592%2F20210523%2F20210523134410.png)
Microsoft Graph CLI SDKは、Kiota（OpenAPIで記述されたAPIを呼び出すためのAPIクライアント生成ツール）よって生成されたコマンドラインツールで、Windows Terminal、macOS（10.12以降）のターミナル、PowerShell 7.3.2以降に対応するほか、LinuxやDockerでも利用可能となっている。 1回限りの簡単なタスクから複雑な自動スクリプトまで、さまざまなシナリオで使用でき、認証、データ検索、データ操作といった幅広い機能をサポートする。さらに、認証オプションは委任された認証オプションとアプリのみの認証オプションの両方をサポートするほか、データの出力ではJSON、テーブル、テキストなど複数の形式をサポートしている。 今回公開された「Microsoft Graph CLI SDK v1.0.0-preview」のリリース候補では、
Use AWS Secrets Manager secrets in Amazon Elastic Kubernetes Service - AWS Secrets Manager
Use AWS Secrets Manager secrets in Amazon Elastic Kubernetes Service To show secrets from Secrets Manager as files mounted in Amazon EKS pods, you can use the AWS Secrets and Configuration Provider (ASCP) for the Kubernetes Secrets Store CSI Driver. The ASCP works with Amazon Elastic Kubernetes Service (Amazon EKS) 1.17+ running an Amazon EC2 node group. AWS Fargate node groups are not supported.
Last metadata expiration check: 0:57:46 ago on Thu Mar 23 11:36:32 2023. libstoragemgmt 1.9.4-5.amzn2023.0.2 installed supported 2028-03-15 Python 3.9 (System Python)has security support until March 2028 nfs-utils 2.5.4-2.rc3.amzn2023.0.3 installed supported 2028-03-15 Python 3.9 (System Python)has security support until March 2028 python-chevron 0.13.1-1.amzn2023.0.3 installed supported 2028-03-1
S3ではバケットにライフサイクルルールを設定することで、ストレージクラスの移行や、オブジェクトを失効（削除）させる可能です。本エントリでは、1つのバケットに複数のライフサイクルルールを設定し、プレフィックスでルール適用範囲を指定した動作確認を行いたいと思います。 構成 ライフサイクルルールの確認に使用するテストオブジェクトのPUTは、Lambda Functionを用いて自動化しました。 検証準備 Lambda Function作成 S3へオブジェクトをPUTするLambda Functionを作成しました。また、検証の確認がしやすいように、PUT後にS3バケットに格納されたオブジェクトの一覧を出力しています。 import boto3 import os import jmespath from datetime import datetime s3 = boto3.resource('
「Colabには最初から数百のPythonパッケージがインストール済み」という説明があったので、ふと思い付いて一覧にしてみました。実際には381個のパッケージがありました。 方法は、Colab上で!pip freezeコマンドを打つだけ。 なお、2020/03/14時点のCPU版VMのものです。GPU／TPU版のVMだと違う結果かもしれません。念のため。 以下では、取得したパッケージ名を基にPyPIのサイトへのリンクと概要を自動作成して、概要は日本語に機械翻訳したバージョンも載せました。 ※ちなみにこれを実施するプログラムはC#で書きました（ColabのPyPIパッケージを一覧にするC#コード）。 ※「en-core-web-sm」「screen-resolution-extra」「xkit」の3つのパッケージがPyPI上では見つからなかったです。仕方ないので、それぞれ!pip show
Oji-Cloud クラウドとテクノロジーが人生をHappyにする。クラウドインテグレーターに転職したぱぱエンジニアが発信するテクニカルブログ。 概要 トラブル備忘録です。昨日AMIコピーで起動したCentOS 環境において、aws cli コマンドが下記のエラーとなり使用できない状況に遭遇…。次回別の方がこの状況に陥った時のために、対処方法を記載します。 aws cliコマンドのエラーは、configなどを読み込む以前であり、python のライブラリに起因した問題の様です。 # aws Traceback (most recent call last): File "/bin/aws", line 19, in import awscli.clidriver File "/usr/lib/python2.7/site-packages/awscli/clidriver.py", lin
[Ansible / AAP / AWX] EEのコンテナイメージ作成にAnsible Builderは必ずしも必要ないかを確認してみた (小ネタ) - zaki work log
AAPやAWXでジョブ実行に必要なExecution Environments(EE)を作るために通常はAnsible Builderを使ってコンテナイメージをビルドするが、要件を満たせばDockerfileを直接書いて自前でビルドしても動くのでは…と思ったので確認してみた。 結論としては、以下が入っていれば最低限動作した。 Ansible Core プラス必要なAnsible Collection Ansible Runner SSHクライアント sshpass (パスワード認証の場合) Ansible BuilderではRHEL系コンテナしか使えない(夏にv3対応したときにいろいろ試したがRHEL系以外はダメだった)が、お試しでDebian系…もいいかと思ったけど、せっかくなのでAnsible利用時にあまり使われず(個人の感想)、イメージサイズがより小さいAlpine Linuxでビル
![[Ansible / AAP / AWX] EEのコンテナイメージ作成にAnsible Builderは必ずしも必要ないかを確認してみた (小ネタ) - zaki work log](https://cdn-ak-scissors.b.st-hatena.com/image/square/021812f71f7fc91c5b39cafcb156adb34e41f676/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F26006613443062297%2F6801883189073467830%2F1712153178)
背景・目的 インターネットに接続できない環境で、Wheelファイルを使用することでPythonのパッケージのインストールが可能です。 今回は、IGWがアタッチされていない環境でEC2に、boto3をインストールします。 まとめ pipを使わずに、whlファイルを使ってインストールします。 概要 Wheelファイルとは？ PEP427を参照すると、以下のように書かれています。 wheel は、特別な形式のファイル名と .whl 拡張子を持つ ZIP 形式のアーカイブです。特定のインストールスキームで PEP 376 に従ってインストールされるのとほぼ同じ単一のディストリビューションが含まれています。専用のインストーラーが推奨されますが、標準の「unzip」ツールを使用してサイト パッケージに展開するだけでホイール ファイルをインストールできます。 Wheelは、ZIP形式のアーカイブのこと。
JSONPathとJMESPathとjq
jsonパーサー多すぎ問題 インフラとかクラウドやってるとコマンドでjsonをチョキチョキする機会はそれなりに多いと思うのだけど、ツールによって組み込みのパーサーが違うっていう問題がある。 たとえばAzure CLIだとJMESPathで、これはPython書く人にとってはわりと分かりやすくて好き。 とはいえ、いろんな場面で使うことも考えると一般的にはbash環境なら、jqがデファクトだろうか。 ただ、jqはたとえばこのページとかでも言及されてるけど、インストールが必要なので環境によっては使えなかったりする問題がある。 また、KubernetesをやるならJSONPathがネイティブサポートのため、これも覚えておいたほうがよい。 したがって、少なくともJMESPathとjqとJSONPathの3種類をある程度は使えないと、そもそもクラウド人材として人権がないということになる。 jsonの基
Lambda(Python3)でBoto3を利用時に「Unknown service: ‘xxxxx’」と表示された場合の対処法 | DevelopersIO
Lambda(Python3)でBoto3を利用時に「Unknown service: ‘xxxxx’」と表示された場合の対処法 こんにちは、コンサル部＠大阪オフィスのTodaです。 LambdaでBoto3を利用していると「Unknown service: 'xxxxx'」というエラーが表示されて処理ができないときがあります。 今回は上記エラーが出た場合の対処方法を確認してみました。 エラーの原因 エラーの原因は下記2点が考えられます。 Boto3のclientでサービス名の入力間違い Boto3のライブラリバージョンで該当のサービスがサポートされていない 前者の場合は、入力内容を修正すれば解決できるのですが、後者の場合は対応が必要になります。 LambdaにはBoto3があらかじめ導入されていて、利用者側で導入する必要がないようになっています、ただし導入されているBoto3のバージョン
こんにちは。 SARAH FoodDataBankの沈（シム）です。 弊社のFoodDataBankはAWSのAppsync + Lambdaの組み合わせてサービスを提供しているので、勉強のため、改めてAppsync + Lambdaの組み合わせを実施してみました。 役に立つ対象 既存のREST APIまたはAPI Gatewayを用いてAPIを実装していた方 AppsyncでAPIを実装したい方 システム図 必要なAWSリソース Appsync Lambda DynamoDB IAM Role(Lambda用、AppSync用） SAM AppSync作成 まず、AppSyncを作成します。 AWS Consoleで「API 作成」ボタンを押下し、「一から構築」を選択し、「開始」ボタンをクリック API 名には適切な名前を入力し、「作成」ボタンをクリク AppSync APIが作成できる
AWS LambdaのPythonランタイムとAWSが提供するLambdaレイヤのPythonライブラリを調べてみた。 | DevelopersIO
AWS LambdaのPythonランタイムとAWSが提供するLambdaレイヤのPythonライブラリを調べてみた。 こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 今回はAWS LambdaのPythonパッケージのランタイムを調べてみたのでご紹介します。 なおバージョン等は本日時点での内容となっておりますのでご注意ください。 検証したパターン 以下のランタイムとAWSが提供しているLambdaレイヤのいくつかの組み合わせで検証しました。 ランタイム : Python 3.7 レイヤ : なし レイヤ : AWS SDK for Pandas レイヤ : SciPy ランタイム : Python 3.8 レイヤ : なし レイヤ : AWS SDK for Pandas レイヤ : SciPy ランタイム : Python 3.9 レイヤ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Linux 2023がGAされました | DevelopersIO
Goのバイナリから依存するmodule情報を取り出す方法 - knqyf263's blog
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
例から学ぶ AWS CLI の クエリ(query)活用 | DevelopersIO
Pythonパッケージの依存関係とライセンスを確認する | DevelopersIO
pip freezeして作られたであろう requirements.txt をどうにか整理する話
AWS Lambda関数でRDS Auroraクラスターを自動停止、起動する | 稲葉サーバーデザイン
.NET 6 で動的にJsonパースする標準クラス JsonNode - Qiita
DockerだけでAWS SAMをLocalStackにデプロイしてみた - Qiita
aws-cliはあるがjqがない場合につかえる jp.py | iret.media
AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話｜jkatagi
ansible-builderとansible-runnerを試してみた - うさラボ
Microsoft、「Microsoft Graph CLI SDK v1.0.0-preview」のリリース候補を公開
5分で理解するAmazon Linux 2023 - Qiita
プレフィックス指定したS3ライフサイクルルールの動作を確認してみた | DevelopersIO
Colab内にインストール済みのPythonパッケージ一覧 - いっしきまさひこBLOG
aws cli 実行時にpython 2.7 ImportError発生 | Oji-Cloud
Pythonパッケージをwhlファイルを使ってインストールする - Qiita
AWS Appsync Lambdaの練習（チュートリアル） - Qiita