awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はRyeを使ったPythonの実行環境構築についてご紹介します。 Ryeについて RyeはRustで実装された、Python環境をワンストップで管理できるツールとなっています 今まではpyenv + poetryやpyenv + pipenvなどpyenvとの組み合わせで構築が必要だったものが、RyeだけでPythonインタープリタ含めて管理することが可能です。 RyeはRustのrustupとcargoにインスパイアされた、Pythonの新しいパッケージング体験を構築する実験的な試みとなっており、作者により「Production Readyではない」と紹介されていますが、検証用等個人で使用するには使い勝手はかなり良かったのでご紹介致します。 公式ページは以下となります。 セットアップ インス
抜粋 : Release cadence - Amazon Linux 2023 メジャーリリースとマイナーリリースの内容は以下AWS公式ドキュメントに記載されています。メジャーリリース時には互換性があるか十分に検証した上でアップデートしましょう。 Major version release— Includes new features and improvements in security and performance across the stack. The improvements might include major changes to the kernel, toolchain, Glib C, OpenSSL, and any other system libraries and utilities. Major releases of Amazon Linux ar
概要 内部挙動 ELFバイナリの準備 .go.buildinfo section Goのバージョン module情報 ldflagsについて Goのソースコード .go.buildinfo マジックバイト Goのバージョン情報へのポインタ module情報へのポインタ EXEファイルの処理 余談 まとめ 概要 Goでビルドしたバイナリは色々な情報を含んでいます。例えばビルドに使用したGoのバージョンを取得できます。 $ go version ./test ./test: go1.15.2 そしてついこの間知ったのですが、 -m オプションを使うことで利用しているmoduleの情報も取得可能です。 $ go version -m /usr/local/bin/terraform /usr/local/bin/terraform: go1.14.9 path github.com/hashic
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
[入れ子のキー選択] CloudFront ディストリビューションの設定値を取得 cloudfront list-distributions で CloudFront(CF)ディストリビューションの情報を取得できます。 aws cloudfront list-distributions --output json # { # "DistributionList": { # "Items": [ # { # "Id": "XXXXXXXXXXXXXX", # "ARN": "arn:aws:cloudfront::123456789012:distribution/XXXXXXXXXXXXXX", # "Status": "Deployed", # "LastModifiedTime": "2020-02-21T04:11:45.412000+00:00", # "DomainName":
はじめに データアナリティクス事業本部のkobayashiです。 Pythonを使って開発を行っていると、AWSのリソースを扱う際にはboto3でしたりデータ解析を行う場合はPnadas,Scipyなど様々なパッケージを使っているかと思います。 今回、その利用しているパッケージの依存関係やパッケージを調べる機会があったのでその方法をまとめたいと思います。 環境 Python 3.7.4 pipdeptree 1.0.0 pip-licenses 2.2.1 パッケージ依存関係とライセンスを調べるツール 今回使用したツールは以下になります。どちらのツールもきちんと継続的にメンテナンスされており、pipでインストールできるのでこれらを使いました。 パッケージ依存関係をツリーで表示するツール pipdeptree · PyPI pipでインストールしたPythonパッケージを依存関係ツリー形式で
AWS Parameters and Secrets Lambda Extensionの実装について色々確認してみた | DevelopersIO
CX事業本部@大阪の岩田です。 AWS Parameters and Secrets Lambda Extensionの実装が気になったので色々試してみました。 レスポンスヘッダー AWS Parameters and Secrets Lambda ExtensionはLambda実行環境内でHTTPサーバーを起動します。このHTTPサーバーがパラメータやSecretの取得リクエストを処理してくれるわけですが、レスポンスヘッダに何か特徴は無いのでしょうか？試しに以下のコードを実行してレスポンスヘッダを確認してみましょう。 import json from urllib import request import os from pprint import pprint def lambda_handler(event, context): headers = { 'X-Aws-Parame
自分が間抜けすぎて殺したくなったので、ハマり防止のメソッドを考えてみた。 - Qiita
今日は心底自分にあきれ果てた。ある問題に悩み始めたのが１５時ごろで、終わったのが２２時だから、７時間かかったことになる。その問題の解決方法が分かったときには正直自分を殺したくなった。本当は夕方から筋トレにいって、ごはん食べながらNetflix見て、ギター弾いてとかたくさんできたし、技術だけをやっていたとしても、７時間あったら、相当勉強できるしコードも書ける。そんな目にもうあいたくないので、今回の原因を分析して、メソッドに落とし込んでみた。 今回起こった問題の整理 私の解こうとした問題は簡単だった。というか過去にも似たような問題を解いたことがある。自分が今日は思ったように貢献できなかったら、今日一つぐらい貢献して帰ろうと思って、過去にやったことある問題をピックアップした。問題は単純で、.NET Core 3 のアプリをデプロイする ARM template とスクリプトを作成するというものだ
amazon-redshift-python-driverを使ってPythonからRedshiftに接続する | DevelopersIO
データアナリティクス事業本部の森脇です。 本日AWSから、PythonのRedshiftドライバーに関する情報 がアナウンスされました。 元々クローズドで開発されていたドライバーがOSS化され、amazon-redshift-python-driver という名称で一般公開されました。 以下の特徴をそなえています。 Apache 2.0 License Pure Pythonライブラリ Database API 2.0 準拠 pandas, numpyと簡単に連携可能 今まではpsycopg2を使うことが一般的でしたが、今後はこちらのドライバーを使うのが良さそうですね。 早速試してみました。 (pythonのバージョンは3.8.3で試しています) インストール pipを使ってインストールできます。 [tmp]$ python --version Python 3.8.3 [tmp]$ rm
opencv-python を AWS Lambda で実行してみた - KAYAC Engineers' Blog
この記事はTech KAYAC Advent Calendar 2019の8日目の記事です。 こんにちは！技術部の ひめの です。 クライアントワーク事業部のフロントエンドで2年半 → サーバーサイドエンジニアで1年ちょっと働いています。趣味でラーメンを食べ漁っています。 つい先日の re:Invent 2019 の発表で、RDS + Lambda のコネクションプール周りやコールドスタート問題の軽減の話もあり、どんどん AWS Lambda で解決できる幅が広がっているのを感じます。 Lambda のセッションについてはクラスメソッドさんの Developers.IO にて紹介されてます。 [速報]コールドスタート対策のLambda定期実行とサヨナラ！！ LambdaにProvisioned Concurrencyの設定が追加されました #reinvent [速報]これでLambdaの
[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO
新たにリリースされた「Glue Version 2.0」では、Sparkジョブの開始時間が10倍速く、最低10分ではなく最低1分の1秒単位で請求になります。インタラクティブなマイクロバッチをより素早くコスト効率よく実行できるようになりました。さらに新しいPythonモジュールの追加・更新、Pythonパッケージインストーラー（pip3）を使用して追加のモジュールをインストールもサポートされました。 本日は、「Glue Version 2.0」のSparkジョブの利用方法と起動時間について実際に確認してみます。 AWSJ亀田さんの記事ですが、「世界の亀田さん」なので、執筆時点では英語のみです。 新しい Glue Version 2.0 - Spark ETL ジョブ Glue Version 2.0 - Spark ETL ジョブの選択 Spark ETL ジョブでは、新しいSaprk 2.
![[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
asgiref==3.8.1 boto3==1.34.78 botocore==1.34.78 certifi==2024.2.2 charset-normalizer==3.3.2 Django==4.2.11 idna==3.6 jmespath==1.0.1 python-dateutil==2.9.0.post0 requests==2.31.0 s3transfer==0.10.1 six==1.16.0 sqlparse==0.4.4 urllib3==2.2.1 プロジェクトを維持していく中では依存ライブラリのバージョンを上げていきましょう、があるわけですが、この状態のファイルをメンテナンスするのはかなり大変な作業になってしまいます。 （これは例として作ったものですが、実際のファイルはそれはもうとてもお見せできない…） 直接依存しているライブラリはどれですか そこで、依存管理
北海道札幌市在住、サーバー専門のフリーランスエンジニアです。クラウドサービスを利用してWebサイト、ITシステムのサーバー構成設計とサーバー構築を行います。 はじめに 2018年9月、RDS Auroraクラスターの停止、開始機能がリリースされました。 ・Amazon Aurora がデータベースクラスタの停止、開始へのサポートを開始 https://aws.amazon.com/jp/about-aws/whats-new/2018/09/amazon-aurora-stop-and-start/ ※この停止機能は、クラスターの機能ですので、Auroraクラスターに複数のリードレプリカが存在する場合、マスターとリードレプリカがすべて停止します。2018年12月時点では、マスターや特定のリードレプリカのみを停止することはできないようです。 それまでは、Aurora以外のDBエンジンのRDS
C#で動的にJsonパースしたい！ C#でもクラスを準備することなくjsonを jqや python 、node.js のようにダックタイピングしたいことがあります。たとえば、 C#クラスを準備するのが面倒。ネストが多くてPOCOクラスだらけになる。 int なのに "NULL" や "-" が入ってくるWebAPIがいる。 ちょっとデータ欲しいだけなのにコンバーター作ったり、属性つけたり面倒。 APIが適当すぎてクラス定義できない・・・ .NET6 で動的にjsonを扱うクラス JsonNode が追加されています。その使い勝手をベンチマーク含めて他の方法と比較します。 サンプルのjsonデータ HeartRails Express から 山手線の駅一覧 を使わせていただきました。このjsonから駅名一覧を抽出するサンプルを作っていきます。 jqコマンドなら jq ".response.
Kubernetes + Ansible = Kubespray ~KubesprayからAnsibleに入門する~ - TECHSTEP
はじめに Kubernetesクラスターをオンプレやクラウド上の仮想マシンの上に構築する場合、Kubernetes The Hard Wayのようにイチから全てを構築するか、構築用のツールを利用する方法があります。Kubernetesクラスターを構築するツールは複数存在し、代表的なものとしては以下のようなものがあります。 Kubeadm: Kubernetesが公式で提供するツール。 Kops: Kubernetes Operations。現在はAWSを公式にサポートするツール。 Rancher: Rancher Labsの提供するマルチクラスター構成ツール。 Kubespray: Ansibleを利用してKubernetesクラスターを構築する。 このうち今回紹介するのはKubesprayになります。 KubesprayはAnsibleを利用するクラスター構築ツールです。Ansibleは
はじめに AWS SAMを試すため、LocalStackへデプロイしようとしたら、通常のsamコマンドでは、おそらくデプロイ先のエンドポイントURLを変更できないため、LocalStackへデプロイできませんでした。 そこで、LocalStackが提供するsamlocalコマンドを使用するとデプロイできました。 また、ローカル環境をあまり汚したくなかったため、Docker (+ Docker Compose) のみで試しております。 この記事は以上のことについて、備忘録としてまとめたものです。 前提条件 DockerとDocker Composeがインストールされていること。 やってみた LocalStackを起動させておく $ git clone https://github.com/localstack/localstack.git Cloning into 'localstack'.
mangum + FastAPI で ASGI な Python アプリケーションを AWS Lambda + API Gateway 上で動かす - らくがきちょう
mangum を使うと FastAPI や responder といった ASGI アプリケーションを AWS Lambda + API Gateway 上へ簡単にデプロイすることが出来ます。 今回は FastAPI で書いた ASGI アプリケーションを mangum を使って AWS 上でデプロイする手順をメモしておきます。 mangum init の注意点 最初に mangum init する ハンドラは app/asgi.py に定義する mangum のプロジェクト名は AWS ルールに準拠したものにする mangum cli には削除機能が無い プロジェクトディレクトリを作成する mangum-cli をインストールする AWS CLI をセットアップする AWS S3 上に Bucket を作成する デプロイ用の設定ファイルを作成する requirements.txt を修正
[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)
EC2 インスタンス削除時に、自動でEBS ボリュームも削除されるつもりだったのにうっかり残っていた、という経験はありますでしょうか。 このようなとき、アタッチされていない EBS ボリュームの一覧を取得したいときがあるかもしれません（ありました）。 AWS CLI で調べるときのコマンドを控えておきます。 ボリュームの状態が available が「ボリュームはインスタンスにアタッチされていません」とのことなので、--filters オプションで status が available なものに絞った上で、 --query オプションで表示項目を調整することにします。 Name タグの値だけ表示したい場合 $ aws ec2 describe-volumes --filters Name=status,Values=available --query 'Volumes[*].Tags[?k
![[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e39a5896cc20fb9679ab2818f6c2694b519ca18/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10328749687235026646%2F13574176438087195328%2F1651154489)
はじめに まれにですが、aws-cliはあるのにjqが使えないという環境があります。 jqをいれればよいではないかという指摘はもっともなのですが、そうもいかない場合があるので、そんなときに使えるjp.pyを説明します。 JAWSUG CLI支部 のテキストで知りました。 JMESPathとjp.py について JSON用のクエリ言語 JMESPathのpython実装がjp.pyです。 JMESPathは aws-cliの query オプションでも利用できます。 jp.pyはaws-cliをインストールすると一緒にインストールされ、かつ、単体のコマンドで実行可能な点が嬉しいです。 JMESPathについては チュートリアル(英語)も参考になります。 jqと目的は一緒ですが、言語が違います。 使い方 aws-cliで取得したインスタンス一覧から、jp.pyでインスタンスIDを取得します。
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました | DevelopersIO
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました いわさです。 半年ほど前の次のアナウンスでも紹介されていますが、aws-portal プレフィックスを始め、いくつかのアクションが 2023 年 7 月 6 日に廃止になります。 以前のアップデートで、既に新しいアクションを有効化して移行の準備を行うことが出来るようなったことを紹介しました。 あと 1 ヶ月弱で既存のアクションが使用できなくなりますが、このタイミングでポリシーの更新をアシストしてくれるスクリプトが提供されました。 先に軽くまとめると、このスクリプトを使うことで廃止予定のアクションを使っているポリシーを抽出し、対象ポリシーに対して新しいアクションへ置き換わったステートメントをサジェストしてくれます。 さらに一括更新機能で
この記事はUMITRON Advent Calendar 2022 1日目の記事です。 こんにちは、UMITRONの宮山（@jkatagi）です。最近はSplatoon3とポケモンバイオレットの両作をプレイして忙しい日々を送っています。さて、今年も昨年に引き続きUMITRONでAdvent Calendarを開催することになりました。嬉しいことにたくさんの方から「Advent Calendar読みました！」という声をいただいております。 UMITRON Advent Calendar 2022 1日目は技術的な話として、AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話を書きます。 UMITRONで取り扱うデータについてUMITRONでは持続可能な水産養殖を地球に実装するをミッションに、日々いろんなデータを取り扱っています。そのデータは魚の動画像から
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた | DevelopersIO
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた 定期起動・停止するEC2インスタンスをタグで指定したい こんにちは、のんピ(@non____97)です。 皆さんは定期起動・停止するEC2インスタンスをタグで指定したいなと思ったことはありますか? 私はあります。 EventBridge SchedulerでStopInstancesやStartInstancesを定期実行することで、簡単にEC2インスタンスを定期起動・停止させることが可能です。 ただし、どちらのAPIもインスタンスIDを指定する必要があります。 インスタンスIDを指定するとなると、対象となるインスタンスが増えた場合やリストアした際にインスタンスIDが変更となった場合など都度EventBridge Schedulerのペイロ
はじめに anible-runnerとansible-builderは名前こそ聞いたことがあったが触ったことがありませんでした。 Pythonのスクリプトからansibleを動かしたいなと考えたときに、ansible-runnerが使えるという情報をいただいたので入門してみました。 まずは手始めにansible-builderで作成したコンテナをansible-runnerで動かすのをやってみようと思います。 ansible-builder Ansible BuilderはAnsibleの実行環境をコンテナで用意するためのPythonモジュール ansible-runner Ansible Runnerは、コンテナを介してPlaybookを起動したり Pythonスクリプトなどに組み込むことで直接Ansibleの起動が可能になるPythonモジュール 前提条件 コンテナの実行環境を事前に準
Mocking service integrations with AWS Step Functions Local | Amazon Web Services
AWS Compute Blog Mocking service integrations with AWS Step Functions Local This post is written by Sam Dengler, Principal Specialist Solutions Architect, and Dhiraj Mahapatro, Senior Specialist Solutions Architect. AWS Step Functions now supports over 200 AWS Service integrations via AWS SDK Integration. Developers want to build and test control flow logic for workflows using branching logic, err
AWS CloudShell 上でフェデレーションサインイン用 URL を生成してみた | DevelopersIO
ちょっと環境を覗いてもらうために一時的な URL を払い出す コンバンハ、千葉（幸）です。 「ちょっと環境を覗いてもらうために AWS マネジメントコンソールへの接続情報を提供したい」 「かといってわざわざ専用の IAM ユーザーやロールを払い出すのは避けたい」 ということがあるかもしれません。 AWS CloudShell のドキュメントを眺めていると、そんなケースにマッチしそうなチュートリアルを見つけました。 フェデレーションサインイン用の URL を生成するスクリプトを載せてくれているので、これが活用できそうです。 ここでは特定の S3 バケットの特定のプレフィックス配下のオブジェクトに対する操作のみ許可するというシチュエーションが想定されていますが、ある程度柔軟にカスタマイズできるのでそれ以外のケースでも転用できます。 何をするのか やっていることは以下のエントリとほぼ同じです。こ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Linux 2023がGAされました | DevelopersIO
Goのバイナリから依存するmodule情報を取り出す方法 - knqyf263's blog
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
例から学ぶ AWS CLI の クエリ(query)活用 | DevelopersIO
Pythonパッケージの依存関係とライセンスを確認する | DevelopersIO
pip freezeして作られたであろう requirements.txt をどうにか整理する話
AWS Lambda関数でRDS Auroraクラスターを自動停止、起動する | 稲葉サーバーデザイン
.NET 6 で動的にJsonパースする標準クラス JsonNode - Qiita
DockerだけでAWS SAMをLocalStackにデプロイしてみた - Qiita
aws-cliはあるがjqがない場合につかえる jp.py | iret.media
AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話｜jkatagi
ansible-builderとansible-runnerを試してみた - うさラボ