awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
今年も一番お世話になったライブラリです。 もう「メジャーなライブラリ」といっても良い気がしています。 Partial Read/Writeによる柔軟な読み書き、JSON-RPCやJMESPathへの対応など沢山の機能が追加され、更なる高速化も達成されています。 良い点 Partial ReadやCustom Read Functionsで柔軟なフィールドの読み込みができる 構造体やクラスだけでなくSTLコンテナもJSONとの直接読み書きができる 中間データに独自バイナリ形式を利用してさらに高速化できる いまいちな点 AVX512が使える環境だとsimdjsonより30%ぐらい遅い 最後のフィールドのカンマやコメントなど特殊なJSONには対応していない version 3.0.0以降はC++23が必要になった 代替ライブラリ 個人的にRyzen7 7700を使うようになってAVX512がまが
【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はRyeを使ったPythonの実行環境構築についてご紹介します。 Ryeについて RyeはRustで実装された、Python環境をワンストップで管理できるツールとなっています 今まではpyenv + poetryやpyenv + pipenvなどpyenvとの組み合わせで構築が必要だったものが、RyeだけでPythonインタープリタ含めて管理することが可能です。 RyeはRustのrustupとcargoにインスパイアされた、Pythonの新しいパッケージング体験を構築する実験的な試みとなっており、作者により「Production Readyではない」と紹介されていますが、検証用等個人で使用するには使い勝手はかなり良かったのでご紹介致します。 公式ページは以下となります。 セットアップ インス
抜粋 : Release cadence - Amazon Linux 2023 メジャーリリースとマイナーリリースの内容は以下AWS公式ドキュメントに記載されています。メジャーリリース時には互換性があるか十分に検証した上でアップデートしましょう。 Major version release— Includes new features and improvements in security and performance across the stack. The improvements might include major changes to the kernel, toolchain, Glib C, OpenSSL, and any other system libraries and utilities. Major releases of Amazon Linux ar
概要 内部挙動 ELFバイナリの準備 .go.buildinfo section Goのバージョン module情報 ldflagsについて Goのソースコード .go.buildinfo マジックバイト Goのバージョン情報へのポインタ module情報へのポインタ EXEファイルの処理 余談 まとめ 概要 Goでビルドしたバイナリは色々な情報を含んでいます。例えばビルドに使用したGoのバージョンを取得できます。 $ go version ./test ./test: go1.15.2 そしてついこの間知ったのですが、 -m オプションを使うことで利用しているmoduleの情報も取得可能です。 $ go version -m /usr/local/bin/terraform /usr/local/bin/terraform: go1.14.9 path github.com/hashic
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
[入れ子のキー選択] CloudFront ディストリビューションの設定値を取得 cloudfront list-distributions で CloudFront(CF)ディストリビューションの情報を取得できます。 aws cloudfront list-distributions --output json # { # "DistributionList": { # "Items": [ # { # "Id": "XXXXXXXXXXXXXX", # "ARN": "arn:aws:cloudfront::123456789012:distribution/XXXXXXXXXXXXXX", # "Status": "Deployed", # "LastModifiedTime": "2020-02-21T04:11:45.412000+00:00", # "DomainName":
はじめに データアナリティクス事業本部のkobayashiです。 Pythonを使って開発を行っていると、AWSのリソースを扱う際にはboto3でしたりデータ解析を行う場合はPnadas,Scipyなど様々なパッケージを使っているかと思います。 今回、その利用しているパッケージの依存関係やパッケージを調べる機会があったのでその方法をまとめたいと思います。 環境 Python 3.7.4 pipdeptree 1.0.0 pip-licenses 2.2.1 パッケージ依存関係とライセンスを調べるツール 今回使用したツールは以下になります。どちらのツールもきちんと継続的にメンテナンスされており、pipでインストールできるのでこれらを使いました。 パッケージ依存関係をツリーで表示するツール pipdeptree · PyPI pipでインストールしたPythonパッケージを依存関係ツリー形式で
AWS Parameters and Secrets Lambda Extensionの実装について色々確認してみた | DevelopersIO
CX事業本部@大阪の岩田です。 AWS Parameters and Secrets Lambda Extensionの実装が気になったので色々試してみました。 レスポンスヘッダー AWS Parameters and Secrets Lambda ExtensionはLambda実行環境内でHTTPサーバーを起動します。このHTTPサーバーがパラメータやSecretの取得リクエストを処理してくれるわけですが、レスポンスヘッダに何か特徴は無いのでしょうか？試しに以下のコードを実行してレスポンスヘッダを確認してみましょう。 import json from urllib import request import os from pprint import pprint def lambda_handler(event, context): headers = { 'X-Aws-Parame
amazon-redshift-python-driverを使ってPythonからRedshiftに接続する | DevelopersIO
データアナリティクス事業本部の森脇です。 本日AWSから、PythonのRedshiftドライバーに関する情報 がアナウンスされました。 元々クローズドで開発されていたドライバーがOSS化され、amazon-redshift-python-driver という名称で一般公開されました。 以下の特徴をそなえています。 Apache 2.0 License Pure Pythonライブラリ Database API 2.0 準拠 pandas, numpyと簡単に連携可能 今まではpsycopg2を使うことが一般的でしたが、今後はこちらのドライバーを使うのが良さそうですね。 早速試してみました。 (pythonのバージョンは3.8.3で試しています) インストール pipを使ってインストールできます。 [tmp]$ python --version Python 3.8.3 [tmp]$ rm
[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO
新たにリリースされた「Glue Version 2.0」では、Sparkジョブの開始時間が10倍速く、最低10分ではなく最低1分の1秒単位で請求になります。インタラクティブなマイクロバッチをより素早くコスト効率よく実行できるようになりました。さらに新しいPythonモジュールの追加・更新、Pythonパッケージインストーラー（pip3）を使用して追加のモジュールをインストールもサポートされました。 本日は、「Glue Version 2.0」のSparkジョブの利用方法と起動時間について実際に確認してみます。 AWSJ亀田さんの記事ですが、「世界の亀田さん」なので、執筆時点では英語のみです。 新しい Glue Version 2.0 - Spark ETL ジョブ Glue Version 2.0 - Spark ETL ジョブの選択 Spark ETL ジョブでは、新しいSaprk 2.
![[新機能] AWS Glue 「Glue Version 2.0」のSpark ETL ジョブの開始時間が10倍速く、最小の請求時間は1分になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
C#で動的にJsonパースしたい！ C#でもクラスを準備することなくjsonを jqや python 、node.js のようにダックタイピングしたいことがあります。たとえば、 C#クラスを準備するのが面倒。ネストが多くてPOCOクラスだらけになる。 int なのに "NULL" や "-" が入ってくるWebAPIがいる。 ちょっとデータ欲しいだけなのにコンバーター作ったり、属性つけたり面倒。 APIが適当すぎてクラス定義できない・・・ .NET6 で動的にjsonを扱うクラス JsonNode が追加されています。その使い勝手をベンチマーク含めて他の方法と比較します。 サンプルのjsonデータ HeartRails Express から 山手線の駅一覧 を使わせていただきました。このjsonから駅名一覧を抽出するサンプルを作っていきます。 jqコマンドなら jq ".response.
はじめに AWS SAMを試すため、LocalStackへデプロイしようとしたら、通常のsamコマンドでは、おそらくデプロイ先のエンドポイントURLを変更できないため、LocalStackへデプロイできませんでした。 そこで、LocalStackが提供するsamlocalコマンドを使用するとデプロイできました。 また、ローカル環境をあまり汚したくなかったため、Docker (+ Docker Compose) のみで試しております。 この記事は以上のことについて、備忘録としてまとめたものです。 前提条件 DockerとDocker Composeがインストールされていること。 やってみた LocalStackを起動させておく $ git clone https://github.com/localstack/localstack.git Cloning into 'localstack'.
[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)
EC2 インスタンス削除時に、自動でEBS ボリュームも削除されるつもりだったのにうっかり残っていた、という経験はありますでしょうか。 このようなとき、アタッチされていない EBS ボリュームの一覧を取得したいときがあるかもしれません（ありました）。 AWS CLI で調べるときのコマンドを控えておきます。 ボリュームの状態が available が「ボリュームはインスタンスにアタッチされていません」とのことなので、--filters オプションで status が available なものに絞った上で、 --query オプションで表示項目を調整することにします。 Name タグの値だけ表示したい場合 $ aws ec2 describe-volumes --filters Name=status,Values=available --query 'Volumes[*].Tags[?k
![[AWS] アタッチされていない EBS ボリューム一覧を AWS CLI で表示する - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e39a5896cc20fb9679ab2818f6c2694b519ca18/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10328749687235026646%2F13574176438087195328%2F1651154489)
はじめに まれにですが、aws-cliはあるのにjqが使えないという環境があります。 jqをいれればよいではないかという指摘はもっともなのですが、そうもいかない場合があるので、そんなときに使えるjp.pyを説明します。 JAWSUG CLI支部 のテキストで知りました。 JMESPathとjp.py について JSON用のクエリ言語 JMESPathのpython実装がjp.pyです。 JMESPathは aws-cliの query オプションでも利用できます。 jp.pyはaws-cliをインストールすると一緒にインストールされ、かつ、単体のコマンドで実行可能な点が嬉しいです。 JMESPathについては チュートリアル(英語)も参考になります。 jqと目的は一緒ですが、言語が違います。 使い方 aws-cliで取得したインスタンス一覧から、jp.pyでインスタンスIDを取得します。
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました | DevelopersIO
2023 年 7 月 6 日の請求・コスト管理・アカウントのコンソールの権限廃止・変更のポリシー移行をアシストするために、一括更新スクリプトが提供されました いわさです。 半年ほど前の次のアナウンスでも紹介されていますが、aws-portal プレフィックスを始め、いくつかのアクションが 2023 年 7 月 6 日に廃止になります。 以前のアップデートで、既に新しいアクションを有効化して移行の準備を行うことが出来るようなったことを紹介しました。 あと 1 ヶ月弱で既存のアクションが使用できなくなりますが、このタイミングでポリシーの更新をアシストしてくれるスクリプトが提供されました。 先に軽くまとめると、このスクリプトを使うことで廃止予定のアクションを使っているポリシーを抽出し、対象ポリシーに対して新しいアクションへ置き換わったステートメントをサジェストしてくれます。 さらに一括更新機能で
この記事はUMITRON Advent Calendar 2022 1日目の記事です。 こんにちは、UMITRONの宮山（@jkatagi）です。最近はSplatoon3とポケモンバイオレットの両作をプレイして忙しい日々を送っています。さて、今年も昨年に引き続きUMITRONでAdvent Calendarを開催することになりました。嬉しいことにたくさんの方から「Advent Calendar読みました！」という声をいただいております。 UMITRON Advent Calendar 2022 1日目は技術的な話として、AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話を書きます。 UMITRONで取り扱うデータについてUMITRONでは持続可能な水産養殖を地球に実装するをミッションに、日々いろんなデータを取り扱っています。そのデータは魚の動画像から
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた | DevelopersIO
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた 定期起動・停止するEC2インスタンスをタグで指定したい こんにちは、のんピ(@non____97)です。 皆さんは定期起動・停止するEC2インスタンスをタグで指定したいなと思ったことはありますか? 私はあります。 EventBridge SchedulerでStopInstancesやStartInstancesを定期実行することで、簡単にEC2インスタンスを定期起動・停止させることが可能です。 ただし、どちらのAPIもインスタンスIDを指定する必要があります。 インスタンスIDを指定するとなると、対象となるインスタンスが増えた場合やリストアした際にインスタンスIDが変更となった場合など都度EventBridge Schedulerのペイロ
はじめに anible-runnerとansible-builderは名前こそ聞いたことがあったが触ったことがありませんでした。 Pythonのスクリプトからansibleを動かしたいなと考えたときに、ansible-runnerが使えるという情報をいただいたので入門してみました。 まずは手始めにansible-builderで作成したコンテナをansible-runnerで動かすのをやってみようと思います。 ansible-builder Ansible BuilderはAnsibleの実行環境をコンテナで用意するためのPythonモジュール ansible-runner Ansible Runnerは、コンテナを介してPlaybookを起動したり Pythonスクリプトなどに組み込むことで直接Ansibleの起動が可能になるPythonモジュール 前提条件 コンテナの実行環境を事前に準
AWS LambdaのPythonランタイムとAWSが提供するLambdaレイヤのPythonライブラリを調べてみた。 | DevelopersIO
AWS LambdaのPythonランタイムとAWSが提供するLambdaレイヤのPythonライブラリを調べてみた。 こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 今回はAWS LambdaのPythonパッケージのランタイムを調べてみたのでご紹介します。 なおバージョン等は本日時点での内容となっておりますのでご注意ください。 検証したパターン 以下のランタイムとAWSが提供しているLambdaレイヤのいくつかの組み合わせで検証しました。 ランタイム : Python 3.7 レイヤ : なし レイヤ : AWS SDK for Pandas レイヤ : SciPy ランタイム : Python 3.8 レイヤ : なし レイヤ : AWS SDK for Pandas レイヤ : SciPy ランタイム : Python 3.9 レイヤ
Mocking service integrations with AWS Step Functions Local | Amazon Web Services
AWS Compute Blog Mocking service integrations with AWS Step Functions Local This post is written by Sam Dengler, Principal Specialist Solutions Architect, and Dhiraj Mahapatro, Senior Specialist Solutions Architect. AWS Step Functions now supports over 200 AWS Service integrations via AWS SDK Integration. Developers want to build and test control flow logic for workflows using branching logic, err
AWS CloudShell 上でフェデレーションサインイン用 URL を生成してみた | DevelopersIO
ちょっと環境を覗いてもらうために一時的な URL を払い出す コンバンハ、千葉（幸）です。 「ちょっと環境を覗いてもらうために AWS マネジメントコンソールへの接続情報を提供したい」 「かといってわざわざ専用の IAM ユーザーやロールを払い出すのは避けたい」 ということがあるかもしれません。 AWS CloudShell のドキュメントを眺めていると、そんなケースにマッチしそうなチュートリアルを見つけました。 フェデレーションサインイン用の URL を生成するスクリプトを載せてくれているので、これが活用できそうです。 ここでは特定の S3 バケットの特定のプレフィックス配下のオブジェクトに対する操作のみ許可するというシチュエーションが想定されていますが、ある程度柔軟にカスタマイズできるのでそれ以外のケースでも転用できます。 何をするのか やっていることは以下のエントリとほぼ同じです。こ
[初心者向けシリーズ] Dockerに入門しコンテナを起動から停止するまでの方法を確認してみた | DevelopersIO
事業本部 Delivery 部のアベシです。 Docker初心者の私が、Dockerを使ってイメージをビルド〜コンテナを起動や停止するまでの基本的な流れを確認してみました。 今まで何気なく使っていた、CircleCIなどのCI/CDの実行環境やテスト用のツールなど様々なところでDockerが使われている事に気づいて学び始めました。 そこで今回はそもそもDockerとは?の部分と実際に使う方法をブログに残したいと思います。 Dockerとは？ Dockerは、「コンテナ」という仮想化技術を使用しています。 VM Wareなどの仮想化技術では仮想化ソフトウェアの上でゲストOSを起動し、プロセスはこのOSを使いますが、コンテナではホストOS自体のカーネルを使用します。 そのため、ゲストOSのインストールが必要なく環境の立ち上げを数秒で完了でき、素早い開発が可能になります。 ゲストOSを使う仮想化
![[初心者向けシリーズ] Dockerに入門しコンテナを起動から停止するまでの方法を確認してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/21c0f155d089f08e4cdedf5a0e63a4959826f2a3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fdocker-eyecatch.png)
[VS Code] アクティブなエディターのタブの背景色を変える tab.activeBackground - てくなべ (tekunabe)
はじめに VS Code のエディター部分でファイルを開くとタブ表示になりますが、いまアクティブ（開いている）なタブどれなのか色的に少しわかりにくなと感じていました。 アクティブなタブの背景色を変える方法を Twitter で教えていただいた（ありがとうございます！）のでこちらにも共有します。 変更前 私の環境では以下のような表示です。この場合 jmespath.yml がアクティブです。 これをもう少し際立たせたいと思います。 どれを開いてるのかわかりにくかった 変更 setting.json で workbench.colorCustomizations 内で tab.activeBackground で背景色を指定します。 私の設定例 { "workbench.colorCustomizations": { "tab.activeBackground": "#666666cc", }
![[VS Code] アクティブなエディターのタブの背景色を変える tab.activeBackground - てくなべ (tekunabe)](https://cdn-ak-scissors.b.st-hatena.com/image/square/37ee8ed3a84d7abe75ede92cbce3f843881593a7/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Fakira6592%2F20210523%2F20210523134410.png)
Azure 仮想マシンの使用頻度の高いサイズ一覧
Bシリーズ 公式見解では「Bシリーズはburst可能な仮想マシン」と謳われており、使っていない時はクレジットが蓄積され、使っている時はクレジットが消費されます。ですので、概念検証、小規模データベース、開発ビルド環境などの常日頃使わない用途が最適です。 というのが、公式の見解ですが、Bシリーズの最大のメリットはメモリ1G, CPU1コアのような極小仮想マシンが作成できる事です。後述のDシリーズをスポット仮想マシンとして使用するよりも費用削減になります。 「Bシリーズ」はスポット仮想マシンをサポートしていません。 難点は、余りに極小過ぎるスペックなので、動作確認したい内容によってはサポート対象外どころかvalidationエラーとなり検証すら出来ません。例えば、「高速ネットワーク」や「ホストでの暗号化」はStandard_B2sでは動作しません。 「Bシリーズ」の使用可能な仮想マシンのサイズは
Microsoft Graph CLI SDKは、Kiota（OpenAPIで記述されたAPIを呼び出すためのAPIクライアント生成ツール）よって生成されたコマンドラインツールで、Windows Terminal、macOS（10.12以降）のターミナル、PowerShell 7.3.2以降に対応するほか、LinuxやDockerでも利用可能となっている。 1回限りの簡単なタスクから複雑な自動スクリプトまで、さまざまなシナリオで使用でき、認証、データ検索、データ操作といった幅広い機能をサポートする。さらに、認証オプションは委任された認証オプションとアプリのみの認証オプションの両方をサポートするほか、データの出力ではJSON、テーブル、テキストなど複数の形式をサポートしている。 今回公開された「Microsoft Graph CLI SDK v1.0.0-preview」のリリース候補では、
Use AWS Secrets Manager secrets in Amazon Elastic Kubernetes Service - AWS Secrets Manager
Use AWS Secrets Manager secrets in Amazon Elastic Kubernetes Service To show secrets from Secrets Manager as files mounted in Amazon EKS pods, you can use the AWS Secrets and Configuration Provider (ASCP) for the Kubernetes Secrets Store CSI Driver. The ASCP works with Amazon Elastic Kubernetes Service (Amazon EKS) 1.17+ running an Amazon EC2 node group. AWS Fargate node groups are not supported.
概要 今回は、Ubuntu(WSL)にaws-mfaをインストールする方法と、手軽にaws-mfaでaws cli のMFA認証を行う方法をご紹介します。多くの企業では、AWS のIAMユーザーにMFA（多要素認証：Multi-Factor Authentication）を導入することが必須になっています。しかし、aws cli でMFA を認証する操作は煩わしいものです。今回ご紹介する aws-mfa は、MFA導入環境のクレデンシャル管理を容易にするツールとなります。 aws-mfaなどのツールを利用せず、MFA利用時に、公式の方法で aws cli の認証する方法は、下記の記事を参照ください。こちらの記事では、公式の方法だけでなく、ワンライナー(コマンド1行)で aws cli の認証する方法も記載しております。 MFA導入環境では、AWS STS（AWS Security Toke
S3ではバケットにライフサイクルルールを設定することで、ストレージクラスの移行や、オブジェクトを失効（削除）させる可能です。本エントリでは、1つのバケットに複数のライフサイクルルールを設定し、プレフィックスでルール適用範囲を指定した動作確認を行いたいと思います。 構成 ライフサイクルルールの確認に使用するテストオブジェクトのPUTは、Lambda Functionを用いて自動化しました。 検証準備 Lambda Function作成 S3へオブジェクトをPUTするLambda Functionを作成しました。また、検証の確認がしやすいように、PUT後にS3バケットに格納されたオブジェクトの一覧を出力しています。 import boto3 import os import jmespath from datetime import datetime s3 = boto3.resource('
Last metadata expiration check: 0:57:46 ago on Thu Mar 23 11:36:32 2023. libstoragemgmt 1.9.4-5.amzn2023.0.2 installed supported 2028-03-15 Python 3.9 (System Python)has security support until March 2028 nfs-utils 2.5.4-2.rc3.amzn2023.0.3 installed supported 2028-03-15 Python 3.9 (System Python)has security support until March 2028 python-chevron 0.13.1-1.amzn2023.0.3 installed supported 2028-03-1
「Colabには最初から数百のPythonパッケージがインストール済み」という説明があったので、ふと思い付いて一覧にしてみました。実際には381個のパッケージがありました。 方法は、Colab上で!pip freezeコマンドを打つだけ。 なお、2020/03/14時点のCPU版VMのものです。GPU／TPU版のVMだと違う結果かもしれません。念のため。 以下では、取得したパッケージ名を基にPyPIのサイトへのリンクと概要を自動作成して、概要は日本語に機械翻訳したバージョンも載せました。 ※ちなみにこれを実施するプログラムはC#で書きました（ColabのPyPIパッケージを一覧にするC#コード）。 ※「en-core-web-sm」「screen-resolution-extra」「xkit」の3つのパッケージがPyPI上では見つからなかったです。仕方ないので、それぞれ!pip show
Oji-Cloud クラウドとテクノロジーが人生をHappyにする。クラウドインテグレーターに転職したぱぱエンジニアが発信するテクニカルブログ。 概要 トラブル備忘録です。昨日AMIコピーで起動したCentOS 環境において、aws cli コマンドが下記のエラーとなり使用できない状況に遭遇…。次回別の方がこの状況に陥った時のために、対処方法を記載します。 aws cliコマンドのエラーは、configなどを読み込む以前であり、python のライブラリに起因した問題の様です。 # aws Traceback (most recent call last): File "/bin/aws", line 19, in import awscli.clidriver File "/usr/lib/python2.7/site-packages/awscli/clidriver.py", lin
[Ansible / AAP / AWX] EEのコンテナイメージ作成にAnsible Builderは必ずしも必要ないかを確認してみた (小ネタ) - zaki work log
AAPやAWXでジョブ実行に必要なExecution Environments(EE)を作るために通常はAnsible Builderを使ってコンテナイメージをビルドするが、要件を満たせばDockerfileを直接書いて自前でビルドしても動くのでは…と思ったので確認してみた。 結論としては、以下が入っていれば最低限動作した。 Ansible Core プラス必要なAnsible Collection Ansible Runner SSHクライアント sshpass (パスワード認証の場合) Ansible BuilderではRHEL系コンテナしか使えない(夏にv3対応したときにいろいろ試したがRHEL系以外はダメだった)が、お試しでDebian系…もいいかと思ったけど、せっかくなのでAnsible利用時にあまり使われず(個人の感想)、イメージサイズがより小さいAlpine Linuxでビル
![[Ansible / AAP / AWX] EEのコンテナイメージ作成にAnsible Builderは必ずしも必要ないかを確認してみた (小ネタ) - zaki work log](https://cdn-ak-scissors.b.st-hatena.com/image/square/021812f71f7fc91c5b39cafcb156adb34e41f676/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F26006613443062297%2F6801883189073467830%2F1712153178)
JSONPathとJMESPathとjq
jsonパーサー多すぎ問題 インフラとかクラウドやってるとコマンドでjsonをチョキチョキする機会はそれなりに多いと思うのだけど、ツールによって組み込みのパーサーが違うっていう問題がある。 たとえばAzure CLIだとJMESPathで、これはPython書く人にとってはわりと分かりやすくて好き。 とはいえ、いろんな場面で使うことも考えると一般的にはbash環境なら、jqがデファクトだろうか。 ただ、jqはたとえばこのページとかでも言及されてるけど、インストールが必要なので環境によっては使えなかったりする問題がある。 また、KubernetesをやるならJSONPathがネイティブサポートのため、これも覚えておいたほうがよい。 したがって、少なくともJMESPathとjqとJSONPathの3種類をある程度は使えないと、そもそもクラウド人材として人権がないということになる。 jsonの基
背景・目的 インターネットに接続できない環境で、Wheelファイルを使用することでPythonのパッケージのインストールが可能です。 今回は、IGWがアタッチされていない環境でEC2に、boto3をインストールします。 まとめ pipを使わずに、whlファイルを使ってインストールします。 概要 Wheelファイルとは？ PEP427を参照すると、以下のように書かれています。 wheel は、特別な形式のファイル名と .whl 拡張子を持つ ZIP 形式のアーカイブです。特定のインストールスキームで PEP 376 に従ってインストールされるのとほぼ同じ単一のディストリビューションが含まれています。専用のインストーラーが推奨されますが、標準の「unzip」ツールを使用してサイト パッケージに展開するだけでホイール ファイルをインストールできます。 Wheelは、ZIP形式のアーカイブのこと。
Lambda(Python3)でBoto3を利用時に「Unknown service: ‘xxxxx’」と表示された場合の対処法 | DevelopersIO
Lambda(Python3)でBoto3を利用時に「Unknown service: ‘xxxxx’」と表示された場合の対処法 こんにちは、コンサル部＠大阪オフィスのTodaです。 LambdaでBoto3を利用していると「Unknown service: 'xxxxx'」というエラーが表示されて処理ができないときがあります。 今回は上記エラーが出た場合の対処方法を確認してみました。 エラーの原因 エラーの原因は下記2点が考えられます。 Boto3のclientでサービス名の入力間違い Boto3のライブラリバージョンで該当のサービスがサポートされていない 前者の場合は、入力内容を修正すれば解決できるのですが、後者の場合は対応が必要になります。 LambdaにはBoto3があらかじめ導入されていて、利用者側で導入する必要がないようになっています、ただし導入されているBoto3のバージョン
こんにちは。 SARAH FoodDataBankの沈（シム）です。 弊社のFoodDataBankはAWSのAppsync + Lambdaの組み合わせてサービスを提供しているので、勉強のため、改めてAppsync + Lambdaの組み合わせを実施してみました。 役に立つ対象 既存のREST APIまたはAPI Gatewayを用いてAPIを実装していた方 AppsyncでAPIを実装したい方 システム図 必要なAWSリソース Appsync Lambda DynamoDB IAM Role(Lambda用、AppSync用） SAM AppSync作成 まず、AppSyncを作成します。 AWS Consoleで「API 作成」ボタンを押下し、「一から構築」を選択し、「開始」ボタンをクリック API 名には適切な名前を入力し、「作成」ボタンをクリク AppSync APIが作成できる
Amazon Timestream に シングルメジャーレコードで 100 件以上のセンサー値があるデータを書き込んでみる | DevelopersIO
Amazon Timestream に シングルメジャーレコードで 100 件以上のセンサー値があるデータを書き込んでみる 背景 今回、Amazon Timestream を使うことがあり、「データ項目が100件以上あるデータをテーブルに書き込みたい」という要件がありました。その際の対応について分かったことを紹介したいと思います。 本記事の注意点 今回は従来からある「シングルメジャーレコード」による書き込みを想定しています。より効率的な書き込みが可能な「マルチメジャーレコード」については次回の記事でご紹介したいと思います。 簡単なスクリプトでデータを書き込んでみる まずは、公式ドキュメントに掲載されているドキュメントを元に、SDK（boto3）を使って書き込みを行います。 ここでは、デバイスから送られてくるデータとして下記のようなものを想定しています。 { "timestamp": "20
Amazon CloudWatch Logs でログを読むために学んだ手法をいくつかメモします。 あまり高度な機能は利用せず、ECS や Lambda をほぼデフォルト設定で使って出力されたログを調査するような想定です。 前提となる概念について CloudWatch でログを読む際には「ログイベント」、「ログストリーム」、「ロググループ」の概念について意味を理解している必要があります。 下記のドキュメントを引用しつつ、ごく簡単に各概念を説明します。 ログイベント ログイベントは、モニタリングされているアプリケーションまたはリソースによって記録されたアクティビティのレコードです。 AWS のコンソール画面ではこの画像のように表示されます。画像の各行がそれぞれログイベントです。 ログストリーム ログストリームは、同じソースを共有する一連のログイベントです。 要するにログストリームとはログイベン
Ubuntuにてpipを実行すると「subprocess.CalledProcessError: Command ‘(‘lsb_release’, ‘-a’)’ returned non-zero exit status 1.」と言われたので対処した方法を残しておきます。 $ python3 -m pip list Package Version --------------- -------- boto3 1.17.15 botocore 1.20.15 jmespath 0.10.0 mysqlclient 2.0.3 numpy 1.20.1 opencv-python 4.5.1.48 pip 20.2.3 python-dateutil 2.8.1 s3transfer 0.3.4 setuptools 49.2.1 six 1.15.0 urllib3 1.26.3 Trace
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2024年に特にお世話になったC++ライブラリ8選 - Qiita
Amazon Linux 2023がGAされました | DevelopersIO
Goのバイナリから依存するmodule情報を取り出す方法 - knqyf263's blog
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
例から学ぶ AWS CLI の クエリ(query)活用 | DevelopersIO
Pythonパッケージの依存関係とライセンスを確認する | DevelopersIO
.NET 6 で動的にJsonパースする標準クラス JsonNode - Qiita
DockerだけでAWS SAMをLocalStackにデプロイしてみた - Qiita
aws-cliはあるがjqがない場合につかえる jp.py | iret.media
AWS GlueのworkflowsからAWS Step Functionsに乗り換えた話｜jkatagi
ansible-builderとansible-runnerを試してみた - うさラボ
Microsoft、「Microsoft Graph CLI SDK v1.0.0-preview」のリリース候補を公開
Ubuntu(WSL)にaws-mfaインストール/使用方法 | Oji-Cloud
プレフィックス指定したS3ライフサイクルルールの動作を確認してみた | DevelopersIO
5分で理解するAmazon Linux 2023 - Qiita
Colab内にインストール済みのPythonパッケージ一覧 - いっしきまさひこBLOG
aws cli 実行時にpython 2.7 ImportError発生 | Oji-Cloud
Pythonパッケージをwhlファイルを使ってインストールする - Qiita
AWS Appsync Lambdaの練習（チュートリアル） - Qiita
Amazon CloudWatch Logs でログを読むための手法メモ - Qiita
pipコマンドでlsb_releaseのエラーが発生した場合の対処