はてなブックマーク

これはなに？ EC2やLambdaなどのリソース情報をCSV形式で取得するAWS CLIコマンド群。 コスト削減を目的としてデータ集めていたので、課金に関連するパラメータが多いです。 実行環境はWindows。 目次 これはなに？ 目次 実行環境 コマンドリスト EC2 EBS EBS スナップショット Lambda Glue Jobs CloudWatch Logs CloudWatch Events S3 Stepfunctions ステートマシン Cost IAM User github 実行環境 Microsoft Windows 10 Pro jqコマンド コマンド内では、 ”jq” で実行できるようにしています。環境に合わせて読み替えてください。 以下から実行ファイルダウンロードできます。 jq コマンドリスト --profile <your_profile_name> の箇所

http及びhttpsの通信を透過的に処理するProxyをAWS上に構築します。 https通信を透過的にproxyするには、一度通信の復号化が必要なため、Squidの「ssl-dump」機能を利用します。 本構成では、機能検証のため冗長性等は考慮していません。本番利用する場合には注意してください。 透過的プロキシの仕組みは以下の記事がすごく参考になりました。 milestone-of-se.nesuke.com 環境 手順 Squid導入 ssl-dump用証明書作成 パケットフォワーディングを有効 Iptables 設定 Squidファイルの修正 Source/Destチェックの無効化（AWSコンソール上） ルートテーブルの修正（AWSコンソール上） 通信テスト http https 証明書チェックあり 証明書チェックなし AWS CLI (https) 証明書チェックあり 証明書チェ

Parquetファイルは、テキストエディタなどでは中身を確認することがができず、中身を確認するのがすごく手間です。 S3にPaquetファイルを保管している場合は、S3 Select により簡単に中身が確認できるため、その手順を記載します。 手順 最後に 手順 1. S3バケットより、該当のParquetファイルを選択し、[S3 Select - Parquet] をクリックします。 ] 2. SQL エディタに [SQL] を記載し、[SQLの実行] をクリックします。 今回は、Parquetファイルから5件のデータを取り出します。 SQL の書き方は以下の公式ドキュメントを参考にしてください。 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/s3-glacier-select-sql-reference.html https: