awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はRyeを使ったPythonの実行環境構築についてご紹介します。 Ryeについて RyeはRustで実装された、Python環境をワンストップで管理できるツールとなっています 今まではpyenv + poetryやpyenv + pipenvなどpyenvとの組み合わせで構築が必要だったものが、RyeだけでPythonインタープリタ含めて管理することが可能です。 RyeはRustのrustupとcargoにインスパイアされた、Pythonの新しいパッケージング体験を構築する実験的な試みとなっており、作者により「Production Readyではない」と紹介されていますが、検証用等個人で使用するには使い勝手はかなり良かったのでご紹介致します。 公式ページは以下となります。 セットアップ インス
抜粋 : Release cadence - Amazon Linux 2023 メジャーリリースとマイナーリリースの内容は以下AWS公式ドキュメントに記載されています。メジャーリリース時には互換性があるか十分に検証した上でアップデートしましょう。 Major version release— Includes new features and improvements in security and performance across the stack. The improvements might include major changes to the kernel, toolchain, Glib C, OpenSSL, and any other system libraries and utilities. Major releases of Amazon Linux ar
概要 内部挙動 ELFバイナリの準備 .go.buildinfo section Goのバージョン module情報 ldflagsについて Goのソースコード .go.buildinfo マジックバイト Goのバージョン情報へのポインタ module情報へのポインタ EXEファイルの処理 余談 まとめ 概要 Goでビルドしたバイナリは色々な情報を含んでいます。例えばビルドに使用したGoのバージョンを取得できます。 $ go version ./test ./test: go1.15.2 そしてついこの間知ったのですが、 -m オプションを使うことで利用しているmoduleの情報も取得可能です。 $ go version -m /usr/local/bin/terraform /usr/local/bin/terraform: go1.14.9 path github.com/hashic
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
[入れ子のキー選択] CloudFront ディストリビューションの設定値を取得 cloudfront list-distributions で CloudFront(CF)ディストリビューションの情報を取得できます。 aws cloudfront list-distributions --output json # { # "DistributionList": { # "Items": [ # { # "Id": "XXXXXXXXXXXXXX", # "ARN": "arn:aws:cloudfront::123456789012:distribution/XXXXXXXXXXXXXX", # "Status": "Deployed", # "LastModifiedTime": "2020-02-21T04:11:45.412000+00:00", # "DomainName":
はじめに データアナリティクス事業本部のkobayashiです。 Pythonを使って開発を行っていると、AWSのリソースを扱う際にはboto3でしたりデータ解析を行う場合はPnadas,Scipyなど様々なパッケージを使っているかと思います。 今回、その利用しているパッケージの依存関係やパッケージを調べる機会があったのでその方法をまとめたいと思います。 環境 Python 3.7.4 pipdeptree 1.0.0 pip-licenses 2.2.1 パッケージ依存関係とライセンスを調べるツール 今回使用したツールは以下になります。どちらのツールもきちんと継続的にメンテナンスされており、pipでインストールできるのでこれらを使いました。 パッケージ依存関係をツリーで表示するツール pipdeptree · PyPI pipでインストールしたPythonパッケージを依存関係ツリー形式で
AWS Parameters and Secrets Lambda Extensionの実装について色々確認してみた | DevelopersIO
CX事業本部@大阪の岩田です。 AWS Parameters and Secrets Lambda Extensionの実装が気になったので色々試してみました。 レスポンスヘッダー AWS Parameters and Secrets Lambda ExtensionはLambda実行環境内でHTTPサーバーを起動します。このHTTPサーバーがパラメータやSecretの取得リクエストを処理してくれるわけですが、レスポンスヘッダに何か特徴は無いのでしょうか？試しに以下のコードを実行してレスポンスヘッダを確認してみましょう。 import json from urllib import request import os from pprint import pprint def lambda_handler(event, context): headers = { 'X-Aws-Parame
自分が間抜けすぎて殺したくなったので、ハマり防止のメソッドを考えてみた。 - Qiita
今日は心底自分にあきれ果てた。ある問題に悩み始めたのが１５時ごろで、終わったのが２２時だから、７時間かかったことになる。その問題の解決方法が分かったときには正直自分を殺したくなった。本当は夕方から筋トレにいって、ごはん食べながらNetflix見て、ギター弾いてとかたくさんできたし、技術だけをやっていたとしても、７時間あったら、相当勉強できるしコードも書ける。そんな目にもうあいたくないので、今回の原因を分析して、メソッドに落とし込んでみた。 今回起こった問題の整理 私の解こうとした問題は簡単だった。というか過去にも似たような問題を解いたことがある。自分が今日は思ったように貢献できなかったら、今日一つぐらい貢献して帰ろうと思って、過去にやったことある問題をピックアップした。問題は単純で、.NET Core 3 のアプリをデプロイする ARM template とスクリプトを作成するというものだ
jq と JMESPath を同時に覚える | TECHSCORE BLOG | TECHSCORE BLOG
はじめに ご無沙汰しております。田中です。今回は jq と JMESpath について書きます。 AWS CLI の返り値の JSON は、以下のように --query オプションに JMESPath を指定して処理できます。 # 名前が test- で始まる最新の AMI の id を取得 $ aws ec2 describe-images \ --filters Name=state,Values=available Name=is-public,Values=false \ --query "Images[?starts_with(Name, 'test-')] | sort_by(@, &CreationDate) | reverse(@)[0].ImageId" "ami-xxxxxxxxxxxxxxxxx"
CloudWatch LogsのログデータをStep Functions + LambdaでS3バケットにエクスポートしてみた | DevelopersIO
CloudWatch LogsのログデータをStep Functions + LambdaでS3バケットにエクスポートしてみた CloudWatch Logsのロググデータを、S3バケットにエクスポートしてみたいと思います。 本エントリでは、サブスクリプションフィルタを利用せず、Step Functions + Lambdaで実装してみたいと思います。 CloudWatch LogsのデータをS3にエクスポートするには、Kinesis Data Firehoseを利用するのが簡易的ではありますが、既になんらかの処理でサブスクリプションフィルタを利用していた場合、追加でサブスクリプションフィルタを設定することができません。 *1 本エントリでは、サブスクリプションフィルタを利用せず、CloudWatch Logsのロググループを、S3バケットにエクスポートしてみたいと思います。 SQS +
amazon-redshift-python-driverを使ってPythonからRedshiftに接続する | DevelopersIO
データアナリティクス事業本部の森脇です。 本日AWSから、PythonのRedshiftドライバーに関する情報 がアナウンスされました。 元々クローズドで開発されていたドライバーがOSS化され、amazon-redshift-python-driver という名称で一般公開されました。 以下の特徴をそなえています。 Apache 2.0 License Pure Pythonライブラリ Database API 2.0 準拠 pandas, numpyと簡単に連携可能 今まではpsycopg2を使うことが一般的でしたが、今後はこちらのドライバーを使うのが良さそうですね。 早速試してみました。 (pythonのバージョンは3.8.3で試しています) インストール pipを使ってインストールできます。 [tmp]$ python --version Python 3.8.3 [tmp]$ rm
opencv-python を AWS Lambda で実行してみた - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2019の8日目の記事です。 こんにちは！技術部の ひめの です。 クライアントワーク事業部のフロントエンドで2年半 → サーバーサイドエンジニアで1年ちょっと働いています。趣味でラーメンを食べ漁っています。 つい先日の re:Invent 2019 の発表で、RDS + Lambda のコネクションプール周りやコールドスタート問題の軽減の話もあり、どんどん AWS Lambda で解決できる幅が広がっているのを感じます。 Lambda のセッションについてはクラスメソッドさんの Developers.IO にて紹介されてます。 [速報]コールドスタート対策のLambda定期実行とサヨナラ！！ LambdaにProvisioned Concurrencyの設定が追加されました #reinvent [速報]これでLambdaの
[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO
新たにリリースされた「Glue Version 2.0」では、Sparkジョブの開始時間が10倍速く、最低10分ではなく最低1分の1秒単位で請求になります。インタラクティブなマイクロバッチをより素早くコスト効率よく実行できるようになりました。さらに新しいPythonモジュールの追加・更新、Pythonパッケージインストーラー（pip3）を使用して追加のモジュールをインストールもサポートされました。 本日は、「Glue Version 2.0」のSparkジョブの利用方法と起動時間について実際に確認してみます。 AWSJ亀田さんの記事ですが、「世界の亀田さん」なので、執筆時点では英語のみです。 新しい Glue Version 2.0 - Spark ETL ジョブ Glue Version 2.0 - Spark ETL ジョブの選択 Spark ETL ジョブでは、新しいSaprk 2.
![[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
ECシステム開発チームのいまづです。 みなさん pip install してますか？ いやまあ pip 自体は使うにしても、依存管理は最近なら rye だろうとか uv 使おうぜとか聞こえてきますけれども、自社サービスを開発し続けていると、古くから存在し続けるリポジトリがあって、それらには requirements.txt しかないという状況がありまして。 今回はそれを整理したよ、というお話です。 残念ながら便利ツールで一気に解決できたというお話ではありません。 バージョン指定込みの requirements.txt 開発において人が必要と判断したものを単に追記していっただけの requirements.txt というのは扱いやすいですよね（バージョンを固定できていないという点を無視すれば）。 djnago python-dateutil requests boto3 みたいなやつです。
北海道札幌市在住、サーバー専門のフリーランスエンジニアです。クラウドサービスを利用してWebサイト、ITシステムのサーバー構成設計とサーバー構築を行います。 はじめに 2018年9月、RDS Auroraクラスターの停止、開始機能がリリースされました。 ・Amazon Aurora がデータベースクラスタの停止、開始へのサポートを開始 https://aws.amazon.com/jp/about-aws/whats-new/2018/09/amazon-aurora-stop-and-start/ ※この停止機能は、クラスターの機能ですので、Auroraクラスターに複数のリードレプリカが存在する場合、マスターとリードレプリカがすべて停止します。2018年12月時点では、マスターや特定のリードレプリカのみを停止することはできないようです。 それまでは、Aurora以外のDBエンジンのRDS
C#で動的にJsonパースしたい！ C#でもクラスを準備することなくjsonを jqや python 、node.js のようにダックタイピングしたいことがあります。たとえば、 C#クラスを準備するのが面倒。ネストが多くてPOCOクラスだらけになる。 int なのに "NULL" や "-" が入ってくるWebAPIがいる。 ちょっとデータ欲しいだけなのにコンバーター作ったり、属性つけたり面倒。 APIが適当すぎてクラス定義できない・・・ .NET6 で動的にjsonを扱うクラス JsonNode が追加されています。その使い勝手をベンチマーク含めて他の方法と比較します。 サンプルのjsonデータ HeartRails Express から 山手線の駅一覧 を使わせていただきました。このjsonから駅名一覧を抽出するサンプルを作っていきます。 jqコマンドなら jq ".response.
Kubernetes + Ansible = Kubespray ~KubesprayからAnsibleに入門する~ - TECHSTEP
はじめに Kubernetesクラスターをオンプレやクラウド上の仮想マシンの上に構築する場合、Kubernetes The Hard Wayのようにイチから全てを構築するか、構築用のツールを利用する方法があります。Kubernetesクラスターを構築するツールは複数存在し、代表的なものとしては以下のようなものがあります。 Kubeadm: Kubernetesが公式で提供するツール。 Kops: Kubernetes Operations。現在はAWSを公式にサポートするツール。 Rancher: Rancher Labsの提供するマルチクラスター構成ツール。 Kubespray: Ansibleを利用してKubernetesクラスターを構築する。 このうち今回紹介するのはKubesprayになります。 KubesprayはAnsibleを利用するクラスター構築ツールです。Ansibleは
はじめに AWS SAMを試すため、LocalStackへデプロイしようとしたら、通常のsamコマンドでは、おそらくデプロイ先のエンドポイントURLを変更できないため、LocalStackへデプロイできませんでした。 そこで、LocalStackが提供するsamlocalコマンドを使用するとデプロイできました。 また、ローカル環境をあまり汚したくなかったため、Docker (+ Docker Compose) のみで試しております。 この記事は以上のことについて、備忘録としてまとめたものです。 前提条件 DockerとDocker Composeがインストールされていること。 やってみた LocalStackを起動させておく $ git clone https://github.com/localstack/localstack.git Cloning into 'localstack'.
mangum + FastAPI で ASGI な Python アプリケーションを AWS Lambda + API Gateway 上で動かす - らくがきちょう
mangum を使うと FastAPI や responder といった ASGI アプリケーションを AWS Lambda + API Gateway 上へ簡単にデプロイすることが出来ます。 今回は FastAPI で書いた ASGI アプリケーションを mangum を使って AWS 上でデプロイする手順をメモしておきます。 mangum init の注意点 最初に mangum init する ハンドラは app/asgi.py に定義する mangum のプロジェクト名は AWS ルールに準拠したものにする mangum cli には削除機能が無い プロジェクトディレクトリを作成する mangum-cli をインストールする AWS CLI をセットアップする AWS S3 上に Bucket を作成する デプロイ用の設定ファイルを作成する requirements.txt を修正
[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)
EC2 インスタンス削除時に、自動でEBS ボリュームも削除されるつもりだったのにうっかり残っていた、という経験はありますでしょうか。 このようなとき、アタッチされていない EBS ボリュームの一覧を取得したいときがあるかもしれません（ありました）。 AWS CLI で調べるときのコマンドを控えておきます。 ボリュームの状態が available が「ボリュームはインスタンスにアタッチされていません」とのことなので、--filters オプションで status が available なものに絞った上で、 --query オプションで表示項目を調整することにします。 Name タグの値だけ表示したい場合 $ aws ec2 describe-volumes --filters Name=status,Values=available --query 'Volumes[*].Tags[?k
![[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e39a5896cc20fb9679ab2818f6c2694b519ca18/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10328749687235026646%2F13574176438087195328%2F1651154489)
はじめに まれにですが、aws-cliはあるのにjqが使えないという環境があります。 jqをいれればよいではないかという指摘はもっともなのですが、そうもいかない場合があるので、そんなときに使えるjp.pyを説明します。 JAWSUG CLI支部 のテキストで知りました。 JMESPathとjp.py について JSON用のクエリ言語 JMESPathのpython実装がjp.pyです。 JMESPathは aws-cliの query オプションでも利用できます。 jp.pyはaws-cliをインストールすると一緒にインストールされ、かつ、単体のコマンドで実行可能な点が嬉しいです。 JMESPathについては チュートリアル(英語)も参考になります。 jqと目的は一緒ですが、言語が違います。 使い方 aws-cliで取得したインスタンス一覧から、jp.pyでインスタンスIDを取得します。
It’s amazing how much thought AWS developers put into botocore. No surprise that it’s full of hidden gems. One of them is Waiters. The ProblemIt’s a documented feature, but what’s revealed is only a tip of the iceberg. You can await completion of tasks like creation or deletion of volumes: conditions are simple, nothing can go wrong. The story is different for tasks like attaching volumes. The bui
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました | DevelopersIO
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました いわさです。 半年ほど前の次のアナウンスでも紹介されていますが、aws-portal プレフィックスを始め、いくつかのアクションが 2023 年 7 月 6 日に廃止になります。 以前のアップデートで、既に新しいアクションを有効化して移行の準備を行うことが出来るようなったことを紹介しました。 あと 1 ヶ月弱で既存のアクションが使用できなくなりますが、このタイミングでポリシーの更新をアシストしてくれるスクリプトが提供されました。 先に軽くまとめると、このスクリプトを使うことで廃止予定のアクションを使っているポリシーを抽出し、対象ポリシーに対して新しいアクションへ置き換わったステートメントをサジェストしてくれます。 さらに一括更新機能で
この記事はUMITRON Advent Calendar 2022 1日目の記事です。 こんにちは、UMITRONの宮山（@jkatagi）です。最近はSplatoon3とポケモンバイオレットの両作をプレイして忙しい日々を送っています。さて、今年も昨年に引き続きUMITRONでAdvent Calendarを開催することになりました。嬉しいことにたくさんの方から「Advent Calendar読みました！」という声をいただいております。 UMITRON Advent Calendar 2022 1日目は技術的な話として、AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話を書きます。 UMITRONで取り扱うデータについてUMITRONでは持続可能な水産養殖を地球に実装するをミッションに、日々いろんなデータを取り扱っています。そのデータは魚の動画像から
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた | DevelopersIO
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた 定期起動・停止するEC2インスタンスをタグで指定したい こんにちは、のんピ(@non____97)です。 皆さんは定期起動・停止するEC2インスタンスをタグで指定したいなと思ったことはありますか? 私はあります。 EventBridge SchedulerでStopInstancesやStartInstancesを定期実行することで、簡単にEC2インスタンスを定期起動・停止させることが可能です。 ただし、どちらのAPIもインスタンスIDを指定する必要があります。 インスタンスIDを指定するとなると、対象となるインスタンスが増えた場合やリストアした際にインスタンスIDが変更となった場合など都度EventBridge Schedulerのペイロ
はじめに anible-runnerとansible-builderは名前こそ聞いたことがあったが触ったことがありませんでした。 Pythonのスクリプトからansibleを動かしたいなと考えたときに、ansible-runnerが使えるという情報をいただいたので入門してみました。 まずは手始めにansible-builderで作成したコンテナをansible-runnerで動かすのをやってみようと思います。 ansible-builder Ansible BuilderはAnsibleの実行環境をコンテナで用意するためのPythonモジュール ansible-runner Ansible Runnerは、コンテナを介してPlaybookを起動したり Pythonスクリプトなどに組み込むことで直接Ansibleの起動が可能になるPythonモジュール 前提条件 コンテナの実行環境を事前に準
Mocking service integrations with AWS Step Functions Local | Amazon Web Services
AWS Compute Blog Mocking service integrations with AWS Step Functions Local This post is written by Sam Dengler, Principal Specialist Solutions Architect, and Dhiraj Mahapatro, Senior Specialist Solutions Architect. AWS Step Functions now supports over 200 AWS Service integrations via AWS SDK Integration. Developers want to build and test control flow logic for workflows using branching logic, err
AWS CloudShell 上でフェデレーションサインイン用 URL を生成してみた | DevelopersIO
ちょっと環境を覗いてもらうために一時的な URL を払い出す コンバンハ、千葉（幸）です。 「ちょっと環境を覗いてもらうために AWS マネジメントコンソールへの接続情報を提供したい」 「かといってわざわざ専用の IAM ユーザーやロールを払い出すのは避けたい」 ということがあるかもしれません。 AWS CloudShell のドキュメントを眺めていると、そんなケースにマッチしそうなチュートリアルを見つけました。 フェデレーションサインイン用の URL を生成するスクリプトを載せてくれているので、これが活用できそうです。 ここでは特定の S3 バケットの特定のプレフィックス配下のオブジェクトに対する操作のみ許可するというシチュエーションが想定されていますが、ある程度柔軟にカスタマイズできるのでそれ以外のケースでも転用できます。 何をするのか やっていることは以下のエントリとほぼ同じです。こ
Red Hat Enterprise Linux 8 RHEL 8 の導入における検討事項 Red Hat Enterprise Linux 7 と Red Hat Enterprise Linux 8 における主な相違点 Last Updated: 2024-02-14 Red Hat Enterprise Linux 8 RHEL 8 の導入における検討事項 Red Hat Enterprise Linux 7 と Red Hat Enterprise Linux 8 における主な相違点 法律上の通知 Copyright © 2024 Red Hat, Inc. The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share
[VS Code] アクティブなエディターのタブの背景色を変える tab.activeBackground - てくなべ (tekunabe)
はじめに VS Code のエディター部分でファイルを開くとタブ表示になりますが、いまアクティブ（開いている）なタブどれなのか色的に少しわかりにくなと感じていました。 アクティブなタブの背景色を変える方法を Twitter で教えていただいた（ありがとうございます！）のでこちらにも共有します。 変更前 私の環境では以下のような表示です。この場合 jmespath.yml がアクティブです。 これをもう少し際立たせたいと思います。 どれを開いてるのかわかりにくかった 変更 setting.json で workbench.colorCustomizations 内で tab.activeBackground で背景色を指定します。 私の設定例 { "workbench.colorCustomizations": { "tab.activeBackground": "#666666cc", }
![[VS Code] アクティブなエディターのタブの背景色を変える tab.activeBackground - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/37ee8ed3a84d7abe75ede92cbce3f843881593a7/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Fakira6592%2F20210523%2F20210523134410.png)
Microsoft Graph CLI SDKは、Kiota（OpenAPIで記述されたAPIを呼び出すためのAPIクライアント生成ツール）よって生成されたコマンドラインツールで、Windows Terminal、macOS（10.12以降）のターミナル、PowerShell 7.3.2以降に対応するほか、LinuxやDockerでも利用可能となっている。 1回限りの簡単なタスクから複雑な自動スクリプトまで、さまざまなシナリオで使用でき、認証、データ検索、データ操作といった幅広い機能をサポートする。さらに、認証オプションは委任された認証オプションとアプリのみの認証オプションの両方をサポートするほか、データの出力ではJSON、テーブル、テキストなど複数の形式をサポートしている。 今回公開された「Microsoft Graph CLI SDK v1.0.0-preview」のリリース候補では、
Use AWS Secrets Manager secrets in Amazon Elastic Kubernetes Service - AWS Secrets Manager
Use AWS Secrets Manager secrets in Amazon Elastic Kubernetes Service To show secrets from Secrets Manager as files mounted in Amazon EKS pods, you can use the AWS Secrets and Configuration Provider (ASCP) for the Kubernetes Secrets Store CSI Driver. The ASCP works with Amazon Elastic Kubernetes Service (Amazon EKS) 1.17+ running an Amazon EC2 node group. AWS Fargate node groups are not supported.
Last metadata expiration check: 0:57:46 ago on Thu Mar 23 11:36:32 2023. libstoragemgmt 1.9.4-5.amzn2023.0.2 installed supported 2028-03-15 Python 3.9 (System Python)has security support until March 2028 nfs-utils 2.5.4-2.rc3.amzn2023.0.3 installed supported 2028-03-15 Python 3.9 (System Python)has security support until March 2028 python-chevron 0.13.1-1.amzn2023.0.3 installed supported 2028-03-1
AWS 謹製のデータ分析モジュール『AWS Data Wrangler』チュートリアルの紹介 - 継続は力なり
タダです. AWS 謹製の Python データ分析モジュールの「AWS Data Wrangler」がリリースされました.今回は普段 Python を使ってデータ分析の勉強をしているため,「AWS Data Wrangler」を公式ブログチュートリアルを参考に使ってみた所感を書いていきます. aws.amazon.com github.com 利用方法はドキュメントで確認していきましょう. aws-data-wrangler.readthedocs.io AWS Data Wrangler のメリット AWS Data Wrangler を使って ETL を行う 1. S3 への CSV データをアップロード 2. Athena でデータベースおよびテーブルを作成する 3. SageMaker から AWS Data Wrangler 経由で Athena,S3 の CSVデータにアクセ
構成 ライフサイクルルールの確認に使用するテストオブジェクトのPUTは、Lambda Functionを用いて自動化しました。 検証準備 Lambda Function作成 S3へオブジェクトをPUTするLambda Functionを作成しました。また、検証の確認がしやすいように、PUT後にS3バケットに格納されたオブジェクトの一覧を出力しています。 TestPutObject import boto3 import os import jmespath from datetime import datetime s3 = boto3.resource('s3') s3_client = boto3.client('s3') def lambda_handler(event, context): bucket_name = os.environ['BUCKET_NAME'] #環境変数よ
Lambdaのパッケージに自前でboto3を組み込む場合、保守性を犠牲にコールドスタートを少しでも早くする手法をご紹介します。 Lambda実行環境にバンドルされているboto3はバージョンが古いため、新し目の機能を利用したい場合はデプロイパッケージに自前でboto3を組み込む必要があります。 しかし、boto3はパッケージサイズが大きいため、コールドスタートの速度に悪影響を及ぼします。 この記事では、デプロイパッケージに含めるboto3をスリム化することでコールドスタートのオーバーヘッドを改善する手法をご紹介します。 なお、ご紹介する手法はシステムの保守性という観点で懸念事項が残ります。また改善効果も50ミリ秒程度のものです。このレベルのチューニングが必要になるのであれば、本来はコールドスタートという概念のあるLambdaを選択すべきではありません。が、そうはいっても色々なしがらみから「
背景・目的 インターネットに接続できない環境で、Wheelファイルを使用することでPythonのパッケージのインストールが可能です。 今回は、IGWがアタッチされていない環境でEC2に、boto3をインストールします。 まとめ pipを使わずに、whlファイルを使ってインストールします。 概要 Wheelファイルとは？ PEP427を参照すると、以下のように書かれています。 wheel は、特別な形式のファイル名と .whl 拡張子を持つ ZIP 形式のアーカイブです。特定のインストールスキームで PEP 376 に従ってインストールされるのとほぼ同じ単一のディストリビューションが含まれています。専用のインストーラーが推奨されますが、標準の「unzip」ツールを使用してサイト パッケージに展開するだけでホイール ファイルをインストールできます。 Wheelは、ZIP形式のアーカイブのこと。
JSONPathとJMESPathとjq
jsonパーサー多すぎ問題 インフラとかクラウドやってるとコマンドでjsonをチョキチョキする機会はそれなりに多いと思うのだけど、ツールによって組み込みのパーサーが違うっていう問題がある。 たとえばAzure CLIだとJMESPathで、これはPython書く人にとってはわりと分かりやすくて好き。 とはいえ、いろんな場面で使うことも考えると一般的にはbash環境なら、jqがデファクトだろうか。 ただ、jqはたとえばこのページとかでも言及されてるけど、インストールが必要なので環境によっては使えなかったりする問題がある。 また、KubernetesをやるならJSONPathがネイティブサポートのため、これも覚えておいたほうがよい。 したがって、少なくともJMESPathとjqとJSONPathの3種類をある程度は使えないと、そもそもクラウド人材として人権がないということになる。 jsonの基
Lambda(Python3)でBoto3を利用時に「Unknown service: ‘xxxxx’」と表示された場合の対処法 | DevelopersIO
Lambda(Python3)でBoto3を利用時に「Unknown service: ‘xxxxx’」と表示された場合の対処法 こんにちは、コンサル部＠大阪オフィスのTodaです。 LambdaでBoto3を利用していると「Unknown service: 'xxxxx'」というエラーが表示されて処理ができないときがあります。 今回は上記エラーが出た場合の対処方法を確認してみました。 エラーの原因 エラーの原因は下記2点が考えられます。 Boto3のclientでサービス名の入力間違い Boto3のライブラリバージョンで該当のサービスがサポートされていない 前者の場合は、入力内容を修正すれば解決できるのですが、後者の場合は対応が必要になります。 LambdaにはBoto3があらかじめ導入されていて、利用者側で導入する必要がないようになっています、ただし導入されているBoto3のバージョン
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Linux 2023がGAされました | DevelopersIO
Goのバイナリから依存するmodule情報を取り出す方法 - knqyf263's blog
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
例から学ぶ AWS CLI の クエリ(query)活用 | DevelopersIO
Pythonパッケージの依存関係とライセンスを確認する | DevelopersIO
pip freezeして作られたであろう requirements.txt をどうにか整理する話
AWS Lambda関数でRDS Auroraクラスターを自動停止、起動する | 稲葉サーバーデザイン
.NET 6 で動的にJsonパースする標準クラス JsonNode - Qiita
DockerだけでAWS SAMをLocalStackにデプロイしてみた - Qiita
aws-cliはあるがjqがない場合につかえる jp.py | iret.media
Customizing botocore Waiters
AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話｜jkatagi
ansible-builderとansible-runnerを試してみた - うさラボ
Red Hat Enterprise Linux 8 RHEL 8 の導入における検討事項
Microsoft、「Microsoft Graph CLI SDK v1.0.0-preview」のリリース候補を公開
5分で理解するAmazon Linux 2023 - Qiita
プレフィックス指定したS3ライフサイクルルールの動作を確認してみた | DevelopersIO
コールドスタート高速化のためにboto3をスリム化して改善効果を測定してみた | DevelopersIO
Pythonパッケージをwhlファイルを使ってインストールする - Qiita