awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
今年も一番お世話になったライブラリです。 もう「メジャーなライブラリ」といっても良い気がしています。 Partial Read/Writeによる柔軟な読み書き、JSON-RPCやJMESPathへの対応など沢山の機能が追加され、更なる高速化も達成されています。 良い点 Partial ReadやCustom Read Functionsで柔軟なフィールドの読み込みができる 構造体やクラスだけでなくSTLコンテナもJSONとの直接読み書きができる 中間データに独自バイナリ形式を利用してさらに高速化できる いまいちな点 AVX512が使える環境だとsimdjsonより30%ぐらい遅い 最後のフィールドのカンマやコメントなど特殊なJSONには対応していない version 3.0.0以降はC++23が必要になった 代替ライブラリ 個人的にRyzen7 7700を使うようになってAVX512がまが
【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はRyeを使ったPythonの実行環境構築についてご紹介します。 Ryeについて RyeはRustで実装された、Python環境をワンストップで管理できるツールとなっています 今まではpyenv + poetryやpyenv + pipenvなどpyenvとの組み合わせで構築が必要だったものが、RyeだけでPythonインタープリタ含めて管理することが可能です。 RyeはRustのrustupとcargoにインスパイアされた、Pythonの新しいパッケージング体験を構築する実験的な試みとなっており、作者により「Production Readyではない」と紹介されていますが、検証用等個人で使用するには使い勝手はかなり良かったのでご紹介致します。 公式ページは以下となります。 セットアップ インス
抜粋 : Release cadence - Amazon Linux 2023 メジャーリリースとマイナーリリースの内容は以下AWS公式ドキュメントに記載されています。メジャーリリース時には互換性があるか十分に検証した上でアップデートしましょう。 Major version release— Includes new features and improvements in security and performance across the stack. The improvements might include major changes to the kernel, toolchain, Glib C, OpenSSL, and any other system libraries and utilities. Major releases of Amazon Linux ar
概要 内部挙動 ELFバイナリの準備 .go.buildinfo section Goのバージョン module情報 ldflagsについて Goのソースコード .go.buildinfo マジックバイト Goのバージョン情報へのポインタ module情報へのポインタ EXEファイルの処理 余談 まとめ 概要 Goでビルドしたバイナリは色々な情報を含んでいます。例えばビルドに使用したGoのバージョンを取得できます。 $ go version ./test ./test: go1.15.2 そしてついこの間知ったのですが、 -m オプションを使うことで利用しているmoduleの情報も取得可能です。 $ go version -m /usr/local/bin/terraform /usr/local/bin/terraform: go1.14.9 path github.com/hashic
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
[入れ子のキー選択] CloudFront ディストリビューションの設定値を取得 cloudfront list-distributions で CloudFront(CF)ディストリビューションの情報を取得できます。 aws cloudfront list-distributions --output json # { # "DistributionList": { # "Items": [ # { # "Id": "XXXXXXXXXXXXXX", # "ARN": "arn:aws:cloudfront::123456789012:distribution/XXXXXXXXXXXXXX", # "Status": "Deployed", # "LastModifiedTime": "2020-02-21T04:11:45.412000+00:00", # "DomainName":
はじめに データアナリティクス事業本部のkobayashiです。 Pythonを使って開発を行っていると、AWSのリソースを扱う際にはboto3でしたりデータ解析を行う場合はPnadas,Scipyなど様々なパッケージを使っているかと思います。 今回、その利用しているパッケージの依存関係やパッケージを調べる機会があったのでその方法をまとめたいと思います。 環境 Python 3.7.4 pipdeptree 1.0.0 pip-licenses 2.2.1 パッケージ依存関係とライセンスを調べるツール 今回使用したツールは以下になります。どちらのツールもきちんと継続的にメンテナンスされており、pipでインストールできるのでこれらを使いました。 パッケージ依存関係をツリーで表示するツール pipdeptree · PyPI pipでインストールしたPythonパッケージを依存関係ツリー形式で
AWS Parameters and Secrets Lambda Extensionの実装について色々確認してみた | DevelopersIO
CX事業本部@大阪の岩田です。 AWS Parameters and Secrets Lambda Extensionの実装が気になったので色々試してみました。 レスポンスヘッダー AWS Parameters and Secrets Lambda ExtensionはLambda実行環境内でHTTPサーバーを起動します。このHTTPサーバーがパラメータやSecretの取得リクエストを処理してくれるわけですが、レスポンスヘッダに何か特徴は無いのでしょうか？試しに以下のコードを実行してレスポンスヘッダを確認してみましょう。 import json from urllib import request import os from pprint import pprint def lambda_handler(event, context): headers = { 'X-Aws-Parame
amazon-redshift-python-driverを使ってPythonからRedshiftに接続する | DevelopersIO
データアナリティクス事業本部の森脇です。 本日AWSから、PythonのRedshiftドライバーに関する情報 がアナウンスされました。 元々クローズドで開発されていたドライバーがOSS化され、amazon-redshift-python-driver という名称で一般公開されました。 以下の特徴をそなえています。 Apache 2.0 License Pure Pythonライブラリ Database API 2.0 準拠 pandas, numpyと簡単に連携可能 今まではpsycopg2を使うことが一般的でしたが、今後はこちらのドライバーを使うのが良さそうですね。 早速試してみました。 (pythonのバージョンは3.8.3で試しています) インストール pipを使ってインストールできます。 [tmp]$ python --version Python 3.8.3 [tmp]$ rm
[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO
新たにリリースされた「Glue Version 2.0」では、Sparkジョブの開始時間が10倍速く、最低10分ではなく最低1分の1秒単位で請求になります。インタラクティブなマイクロバッチをより素早くコスト効率よく実行できるようになりました。さらに新しいPythonモジュールの追加・更新、Pythonパッケージインストーラー（pip3）を使用して追加のモジュールをインストールもサポートされました。 本日は、「Glue Version 2.0」のSparkジョブの利用方法と起動時間について実際に確認してみます。 AWSJ亀田さんの記事ですが、「世界の亀田さん」なので、執筆時点では英語のみです。 新しい Glue Version 2.0 - Spark ETL ジョブ Glue Version 2.0 - Spark ETL ジョブの選択 Spark ETL ジョブでは、新しいSaprk 2.
![[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
C#で動的にJsonパースしたい！ C#でもクラスを準備することなくjsonを jqや python 、node.js のようにダックタイピングしたいことがあります。たとえば、 C#クラスを準備するのが面倒。ネストが多くてPOCOクラスだらけになる。 int なのに "NULL" や "-" が入ってくるWebAPIがいる。 ちょっとデータ欲しいだけなのにコンバーター作ったり、属性つけたり面倒。 APIが適当すぎてクラス定義できない・・・ .NET6 で動的にjsonを扱うクラス JsonNode が追加されています。その使い勝手をベンチマーク含めて他の方法と比較します。 サンプルのjsonデータ HeartRails Express から 山手線の駅一覧 を使わせていただきました。このjsonから駅名一覧を抽出するサンプルを作っていきます。 jqコマンドなら jq ".response.
はじめに AWS SAMを試すため、LocalStackへデプロイしようとしたら、通常のsamコマンドでは、おそらくデプロイ先のエンドポイントURLを変更できないため、LocalStackへデプロイできませんでした。 そこで、LocalStackが提供するsamlocalコマンドを使用するとデプロイできました。 また、ローカル環境をあまり汚したくなかったため、Docker (+ Docker Compose) のみで試しております。 この記事は以上のことについて、備忘録としてまとめたものです。 前提条件 DockerとDocker Composeがインストールされていること。 やってみた LocalStackを起動させておく $ git clone https://github.com/localstack/localstack.git Cloning into 'localstack'.
[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)
EC2 インスタンス削除時に、自動でEBS ボリュームも削除されるつもりだったのにうっかり残っていた、という経験はありますでしょうか。 このようなとき、アタッチされていない EBS ボリュームの一覧を取得したいときがあるかもしれません（ありました）。 AWS CLI で調べるときのコマンドを控えておきます。 ボリュームの状態が available が「ボリュームはインスタンスにアタッチされていません」とのことなので、--filters オプションで status が available なものに絞った上で、 --query オプションで表示項目を調整することにします。 Name タグの値だけ表示したい場合 $ aws ec2 describe-volumes --filters Name=status,Values=available --query 'Volumes[*].Tags[?k
![[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e39a5896cc20fb9679ab2818f6c2694b519ca18/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10328749687235026646%2F13574176438087195328%2F1651154489)
はじめに まれにですが、aws-cliはあるのにjqが使えないという環境があります。 jqをいれればよいではないかという指摘はもっともなのですが、そうもいかない場合があるので、そんなときに使えるjp.pyを説明します。 JAWSUG CLI支部 のテキストで知りました。 JMESPathとjp.py について JSON用のクエリ言語 JMESPathのpython実装がjp.pyです。 JMESPathは aws-cliの query オプションでも利用できます。 jp.pyはaws-cliをインストールすると一緒にインストールされ、かつ、単体のコマンドで実行可能な点が嬉しいです。 JMESPathについては チュートリアル(英語)も参考になります。 jqと目的は一緒ですが、言語が違います。 使い方 aws-cliで取得したインスタンス一覧から、jp.pyでインスタンスIDを取得します。
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました | DevelopersIO
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました いわさです。 半年ほど前の次のアナウンスでも紹介されていますが、aws-portal プレフィックスを始め、いくつかのアクションが 2023 年 7 月 6 日に廃止になります。 以前のアップデートで、既に新しいアクションを有効化して移行の準備を行うことが出来るようなったことを紹介しました。 あと 1 ヶ月弱で既存のアクションが使用できなくなりますが、このタイミングでポリシーの更新をアシストしてくれるスクリプトが提供されました。 先に軽くまとめると、このスクリプトを使うことで廃止予定のアクションを使っているポリシーを抽出し、対象ポリシーに対して新しいアクションへ置き換わったステートメントをサジェストしてくれます。 さらに一括更新機能で
この記事はUMITRON Advent Calendar 2022 1日目の記事です。 こんにちは、UMITRONの宮山（@jkatagi）です。最近はSplatoon3とポケモンバイオレットの両作をプレイして忙しい日々を送っています。さて、今年も昨年に引き続きUMITRONでAdvent Calendarを開催することになりました。嬉しいことにたくさんの方から「Advent Calendar読みました！」という声をいただいております。 UMITRON Advent Calendar 2022 1日目は技術的な話として、AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話を書きます。 UMITRONで取り扱うデータについてUMITRONでは持続可能な水産養殖を地球に実装するをミッションに、日々いろんなデータを取り扱っています。そのデータは魚の動画像から
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた | DevelopersIO
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた 定期起動・停止するEC2インスタンスをタグで指定したい こんにちは、のんピ(@non____97)です。 皆さんは定期起動・停止するEC2インスタンスをタグで指定したいなと思ったことはありますか? 私はあります。 EventBridge SchedulerでStopInstancesやStartInstancesを定期実行することで、簡単にEC2インスタンスを定期起動・停止させることが可能です。 ただし、どちらのAPIもインスタンスIDを指定する必要があります。 インスタンスIDを指定するとなると、対象となるインスタンスが増えた場合やリストアした際にインスタンスIDが変更となった場合など都度EventBridge Schedulerのペイロ
はじめに anible-runnerとansible-builderは名前こそ聞いたことがあったが触ったことがありませんでした。 Pythonのスクリプトからansibleを動かしたいなと考えたときに、ansible-runnerが使えるという情報をいただいたので入門してみました。 まずは手始めにansible-builderで作成したコンテナをansible-runnerで動かすのをやってみようと思います。 ansible-builder Ansible BuilderはAnsibleの実行環境をコンテナで用意するためのPythonモジュール ansible-runner Ansible Runnerは、コンテナを介してPlaybookを起動したり Pythonスクリプトなどに組み込むことで直接Ansibleの起動が可能になるPythonモジュール 前提条件 コンテナの実行環境を事前に準
AWS LambdaのPythonランタイムとAWSが提供するLambdaレイヤのPythonライブラリを調べてみた。 | DevelopersIO
AWS LambdaのPythonランタイムとAWSが提供するLambdaレイヤのPythonライブラリを調べてみた。 こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 今回はAWS LambdaのPythonパッケージのランタイムを調べてみたのでご紹介します。 なおバージョン等は本日時点での内容となっておりますのでご注意ください。 検証したパターン 以下のランタイムとAWSが提供しているLambdaレイヤのいくつかの組み合わせで検証しました。 ランタイム : Python 3.7 レイヤ : なし レイヤ : AWS SDK for Pandas レイヤ : SciPy ランタイム : Python 3.8 レイヤ : なし レイヤ : AWS SDK for Pandas レイヤ : SciPy ランタイム : Python 3.9 レイヤ
Mocking service integrations with AWS Step Functions Local | Amazon Web Services
AWS Compute Blog Mocking service integrations with AWS Step Functions Local This post is written by Sam Dengler, Principal Specialist Solutions Architect, and Dhiraj Mahapatro, Senior Specialist Solutions Architect. AWS Step Functions now supports over 200 AWS Service integrations via AWS SDK Integration. Developers want to build and test control flow logic for workflows using branching logic, err
AWS CloudShell 上でフェデレーションサインイン用 URL を生成してみた | DevelopersIO
ちょっと環境を覗いてもらうために一時的な URL を払い出す コンバンハ、千葉（幸）です。 「ちょっと環境を覗いてもらうために AWS マネジメントコンソールへの接続情報を提供したい」 「かといってわざわざ専用の IAM ユーザーやロールを払い出すのは避けたい」 ということがあるかもしれません。 AWS CloudShell のドキュメントを眺めていると、そんなケースにマッチしそうなチュートリアルを見つけました。 フェデレーションサインイン用の URL を生成するスクリプトを載せてくれているので、これが活用できそうです。 ここでは特定の S3 バケットの特定のプレフィックス配下のオブジェクトに対する操作のみ許可するというシチュエーションが想定されていますが、ある程度柔軟にカスタマイズできるのでそれ以外のケースでも転用できます。 何をするのか やっていることは以下のエントリとほぼ同じです。こ
[初心者向けシリーズ] Dockerに入門しコンテナを起動から停止するまでの方法を確認してみた | DevelopersIO
事業本部 Delivery 部のアベシです。 Docker初心者の私が、Dockerを使ってイメージをビルド〜コンテナを起動や停止するまでの基本的な流れを確認してみました。 今まで何気なく使っていた、CircleCIなどのCI/CDの実行環境やテスト用のツールなど様々なところでDockerが使われている事に気づいて学び始めました。 そこで今回はそもそもDockerとは?の部分と実際に使う方法をブログに残したいと思います。 Dockerとは？ Dockerは、「コンテナ」という仮想化技術を使用しています。 VM Wareなどの仮想化技術では仮想化ソフトウェアの上でゲストOSを起動し、プロセスはこのOSを使いますが、コンテナではホストOS自体のカーネルを使用します。 そのため、ゲストOSのインストールが必要なく環境の立ち上げを数秒で完了でき、素早い開発が可能になります。 ゲストOSを使う仮想化
![[初心者向けシリーズ] Dockerに入門しコンテナを起動から停止するまでの方法を確認してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/21c0f155d089f08e4cdedf5a0e63a4959826f2a3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fdocker-eyecatch.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2024年に特にお世話になったC++ライブラリ8選 - Qiita
Amazon Linux 2023がGAされました | DevelopersIO
Goのバイナリから依存するmodule情報を取り出す方法 - knqyf263's blog
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
例から学ぶ AWS CLI の クエリ(query)活用 | DevelopersIO
Pythonパッケージの依存関係とライセンスを確認する | DevelopersIO
.NET 6 で動的にJsonパースする標準クラス JsonNode - Qiita
DockerだけでAWS SAMをLocalStackにデプロイしてみた - Qiita
aws-cliはあるがjqがない場合につかえる jp.py | iret.media
AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話｜jkatagi
ansible-builderとansible-runnerを試してみた - うさラボ