aws cliでEC2 RDSの一覧を取得する - Qiita
AWS CLIでEC2/RDSの一覧をCSV or TSVで吐き出す やりたいこと EC2/RDSの一覧及びインスタンスサイズ、プライベートIPとか、稼働状況とか一覧で欲しい。 （インスタンスサイズでの簡単な見積もりとかしたい時） AWSのコンソールだとEC2やRDSのインスタンス一覧とか表示はできるが CSVとかExcelには落とせないのでAWS CLIで一括で出力しました。 今回使用するAWS CLIコマンド EC２インスタンス情報取得 aws ec2 describe-instances http://docs.aws.amazon.com/cli/latest/reference/ec2/describe-instances.html RDSインスタンス情報取得 aws rds describe-db-instances http://docs.aws.amazon.com/cli
Google Cloud、豪年金基金のアカウントを誤削除 予備も誤削除 他社でのバックアップでなんとか復旧
Google Cloudが、顧客のアカウントを誤って削除し、大規模障害の引き金になる──こんな出来事が海外で起きた。オーストラリアで年金基金を運営するUniSuperは5月8日（現地時間）、自社サービスで起きていた障害について、プライベートクラウドのアカウントが誤って削除されたことが原因だったと発表した。 UniSuperはGoogle Cloudを活用していたが、米Google自身が誤ってアカウントを削除。UniSuperは冗長性を確保するため、別のリージョンにもデータを置いていたが、そちらも無効にされていたという。 アカウントが削除された経緯については「（Google Cloudが）UniSuperのプライベート・クラウド・サービスをプロビジョニングする際の不用意な構成ミスにより生じた」（UniSuper）と説明している。しかし、UniSuperは他社のサービスでもバックアップを確保し
AWS Security HubとSlackを利用して、セキュリティ状況の監視運用を効率化したお話 - Uzabase for Engineers
はじめに 初めまして！ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は「AWS Security Hub」と「Slack」を用いて、弊社で利用しているAWSリソースの監視運用を効率化したお話です。 お話の内容 年々増加するサイバー攻撃に対抗するため、セキュリティ対策は日々重要度が増してきています。 そこで弊社で利用しているAWSのリソースに対して、各種セキュリティイベントの収集ができるAWS Security Hubを利用することで、セキュリティ状態の可視化と迅速な対応がしやすい運用を行い、セキュリティ状態の現状把握から始めることにしました。特にNIST CSFの「検知」部分の運用について整備した内容となっています。 NIST Cyber Security Frameworkについて 皆さん、「NIST Cyber Security Framewo
サーバーレスマイクロサービスを構築するための設計アプローチの比較 | Amazon Web Services
Amazon Web Services ブログ サーバーレスマイクロサービスを構築するための設計アプローチの比較 AWS Lambda でワークロードを設計すると、コードレベルでもインフラレベルでも表現できるモジュール性のために、開発者に疑問が生じます。また、コードを実行するためにサーバーレスを使用するには、基盤となる機能コンポーネントからビジネスロジックを抽出するためのさらなる検討が必要です。この意図的な関心の分離により、堅牢なモジュール性が保証され、進化的なアーキテクチャへの道が開かれます。 この投稿は同期ワークロードに焦点を当てていますが、他のワークロードのタイプでも同様の考慮が当てはまります。API の境界を特定し、コンシューマと API について擦り合わせた後、その境界と関連するアーキテクチャを構成します。 Lambda 関数を使用して API を構成する最も一般的な 2 つの方
AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開
AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開 AWSは、ファイルやデータベースなどのデータソースからデータウェアハウスへデータを集積する際のデータ変換や転送処理などのスクリプトを、自然言語による説明から自動的に生成してくれる新サービス「Amazon Q data integration in AWS Glue」のプレビュー公開を発表しました。 Amazon Qは、昨年（2023年）11月に開催されたイベント「AWS re:Invent 2023」で発表された生成AIサービスです。このAmazon QをETLサービスであるAWS Glueと統合することも、AWS re:Invent 2023で予告されていました。 参考：［速報］AWS、Copilot対抗となる「Amazo
AWS請求額管理の手間を減らす！Slack通知の仕組みを構築する方法 - Infcurion Tech Blog
Infraチームの中尾です。 2023年2月で入社してからちょうど1年が経ちましたが、相当密度の濃い1年を経験させていただきました。 入社してまもなくWallet StationのAWS移行や踏み台環境の移行をメインの業務として担当したので、短期間でAWSやAzureなどの知識が相当増えたと思います。 今後もインフラチームとしてプロダクトの安定稼働やトイルの削減を実施していきます。 今回のテーマはAWSの請求額を自動的にSlackに通知する仕組みを構築する方法についてです。 目的 別チームにAWSのコストを見たいと言われた際、毎月コンソールから見てレポートを取得するのが面倒くさいので、定期的にSlackチャンネルに通知するようにしたい インフラチーム以外の日頃のコスト意識を少しでも高めたい 前提 Cost Explorerを変更かつ各リソースを作成できる権限を持つユーザーが払い出されている
AWSサービス毎の請求額を毎日Slackに通知してみた | DevelopersIO
事前準備 下記の設定を行います。 AWS請求の設定 Slackの設定 AWS請求の設定 ルートアカウントでログインし、設定画面から「コストエクスプローラ」を有効にします。 Slackの設定 チャンネルの作成 通知先のチャンネルを作成します。ここでは、チャンネル名を#aws-billingとしています。 Incoming Webhookの追加 Incoming Webhookの設定を行います。 通知先チャンネルから「アプリを追加する」を選択します。 アプリとしてIncoming Webhookを検索します。 「設定を追加」を選択します。初回であれば画面は違うかもしれません。 投稿先のチャンネルを選択し、「incomming Webhookインテグレーションの追加」を選択します。 作成されたWebhook URLをメモしておきます。このURLに対して、特定フォーマットでPOSTすれば、Slac
スプレッドシートとAWSでコストかからない業務システムを作る設計TIPS
はじめまして @shimma です。本業はD2C企業のCTOとして働く傍ら、業務支援として複数社、インフラを中心に直接手を動かして、社内で横展開できるような設計・コードベースをご提供しています。 枯れた技術で コード行数少なく 運用コストかからず 8-9割くらいのことを解決できる こちらが私の設計がポリシーです。 世の中9割はスプレッドシートで解決できる 私達の想像以上に、世の中の困りごとの大半はスプレッドシートやエクセルで解決ができます。エンジニアに依頼しなくても直接ロジック変更できるなど、組織リソースの有効化としてもメリットあります。 一方、複雑な数式やマクロにすべてを寄せ切り、ロジックを育てていくと、メンテナンスが困難を極めていきます。この記事を読んで頂いている技術者の方々であれば 複雑な箇所はコードによせて 変更しやすい所はスプレッドシート／Google App Script とい
ITに強いはずのハイテク企業で、1億人超の個人情報が流出…… 「新技術こそ優れている」という思い込みが招いた大規模事件
連日さまざまなサイバーセキュリティ犯罪のニュースが報じられる中、いまだに日本のセキュリティレベルは高いとは言えない状況にあります。一方で、企業がサイバーセキュリティ対策を進める上では、人材不足や経営層の意識・関心、コスト、導入による利便性の低下など、さまざまな壁が立ちはだかっています。 そこで今回は、株式会社網屋が主催する「Security BLAZE 2023」より、サイバーセキュリティのエキスパートによる講演をお届けします。本記事では、米金融大手で1億人以上の個人情報が漏えいした事件の背景をひもときながら、問題点とセキュリティ対策のポイントを解説します。 Webセキュリティの第一人者が語る、個人情報流出事件の裏側 徳丸浩氏：ただいまご紹介いただきました、EGセキュアソリューションズの徳丸でございます。本日は「米国金融機関を襲った個人情報大規模流出事件の真相」というテーマでお話をさせてい
Railsで秒間1000コミットを捌くにはどうすればいいのか (Kaigi on Railsのフリースペースより) - joker1007’s diary
先日のKaigi on Rails中の雑談として @ima1zumi さんから、RDBに対して秒間1000コミットぐらいで処理が詰まってる場合ってどうするのが良いのか、という質問を受けまして、雑談の中で色々答えてたんですが、せっかくだから記事にまとめておこうと思います。 ちょっとしたKaigi Effectって感じですね。 今回のKaigi on Railsのトークの中では、 数十億のレコードを持つ5年目サービスの設計と障害解決 by KNR - Kaigi on Rails 2023 の話なんかは割と関連がありますね。ユーザーの行動履歴というのは、ユーザー数 * N * タイムスパンで増えていくレコードなので、書き込みとデータ量が爆発しがちです。トランザクションで堅牢に処理しなければいけないケースもそこまで多くないので、RDBだと書き込みに対する処理が過剰なケースが多い。実際のところこの
AWSを使ってリアルタイム追跡や勤務管理システムなどが作れるキットが販売開始｜fabcross
同製品はGPS端末としてRaspberry Pi 4 Bを採用しており、AWS location service、IoTのクラウドを使用したWebアプリをトータルで提供。リアルタイム追跡や勤務管理、ジオフェンスを利用した配達通知などの用途で利用でき、コスト削減に応用可能だ。システムの構築に要する期間は約1週間程度で、データ流出を防ぐ専用システムを構築できる。 アプリではGPSによるリアルタイムトラッキング機能や、地図上に設定したエリアに対象物が入出力した時点でアラームを通知するジオフェンス機能に加え、出発地から目的地までのルート計算や場所検索、地図表示などの機能を搭載している。 また、メールやSMSなどでの通知機能や、GPS情報を外部ウェブサイトで確認できるリアルタイムモニター機能、勤務管理分析ツールも利用可能だ。さらに、RTK-GNSSによる位置情報の提供や、9軸センサー（加速度、ジャイ
AWS履修者のためのAzure入門
2023年8月に「AWS履修者のためのAzure入門」というタイトルで社内勉強会を開催しましたので、その時の資料を公開します。 今回はボリュームの関係から概念や権限・ユーザー管理周りとネットワークに関連するサービスのみ取り上げております。 何故勉強会を開催したかについては以下記事をご確認ください。 https://www.beex-inc.com/blog/aws-azure-entry-study-1 ※本資料の内容は公式のドキュメントなどを元に整理しながら作成しておりますが、一部解釈などが間違っている可能性があります。 必要に応じて公式ドキュメントなども確認しながらご覧ください。 ==2023/10/02追記== スライド内でAzureのVMはデフォルトでインターネットへのアウトバウンド通信が可能と記載していますが、Microsoftから以下の発表があり、2025年9月30日をもってデ
ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話 - ZOZO TECH BLOG
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
EC2 Instance Connect エンドポイント登場！踏み台サーバー不要でパブリックIPのないEC2にSSH・RDPできるようになりました | DevelopersIO
EC2 Instance Connect エンドポイント登場！踏み台サーバー不要でパブリックIPのないEC2にSSH・RDPできるようになりました EC2インスタンスにシェル・RDPアクセスしたい場合、オンプレ発想で踏み台サーバーを用意する以外にも、AWS Systems Manager Session Manager(以下SSM Session Manager)というマネージド・サービスでアクセスすることもできます。 このSSM Session Managerによく似たサービスとして、EC2 Instance Connect(以下 EIC)というサービスがあり、エフェメラルな公開鍵を活用してSSH可能です。 VPCエンドポイントを活用して、どのIPアドレスからもパブリックIPのないインスタンスに対して接続できるSSM Session Managerと異なり、従来のEICは接続性が必要でし
EC2 Instance Connect Endpoint経由でRDSに接続してみた | DevelopersIO
2023/06/28 追記 : 利用可能ポートが制限されました EC2以外への接続はAWSとして意図していなかった模様で、本日時点で宛先のポート番号がTCP 22、TCP 3389以外だと awscli.customizations.ec2instanceconnect.websocket - ERROR - {"ErrorCode":"InvalidParameter","Message":"The specified RemotePort is not valid. Specify either 22 or 3389 as the RemotePort and retry your request."} という旨のエラーが出る様になりWebSocket接続が切断されます。 The specified RemotePort is not valid. Specify either 22
S3 へのアクセスを TLS 1.2 に限定！ 新しく追加された IAM 条件キー s3:TlsVersion を使ってみた | DevelopersIO
S3 へのアクセスを TLS 1.2 に限定！ 新しく追加された IAM 条件キー s3:TlsVersion を使ってみた コンバンハ、千葉（幸）です。 2020年12月のアップデートで、以下の Amazon S3 の IAM 条件キーが追加されました。 s3:ResourceAccount s3:TLSVersion 前者は使い方がパッと分かったのですが、後者はいまいち分からず……。 手探りで確認した結果、大まかに使い方が分かりましたので、ご紹介します。 まとめ "s3:TlsVersion": "1.x"の書式で使用する 以下クライアントによる S3 アクセスは基本的に TLS 1.2 で行われる AWS マネジメントコンソール AWS CLI AWS サービス AWS 製エージェント 条件キーの想定される主な用途は S3 アクセスを TLS 1.2 に限定すること 「 TLS 1.
AWS再入門2022 AWS CloudFormation編 | DevelopersIO
弊社コンサルティング部による『AWS 再入門ブログリレー 2022』の2日目のエントリでテーマはAWS CloudFormationです。 色々な機能がありますのでおさらいしていきます。1つでも知らない機能があり、学びにつながれば幸いです。 こんにちは、コンサル部のグム・サンウォンです。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2022』の 2日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2022年のサービスアップデート
AWS Black Belt Online Seminar 一覧リストを作成しました (2024.3.8現在) | DevelopersIO
AWS Black Belt Online Seminar の全リストを一つページにまとめてみました。 AWSの学習に活用してください。 AWS認定トレーニング講師の平野@おんせん県おおいたです。 AWSの学習に最もオススメのコンテンツがAWS Black Belt Online Seminar（以下、Black Belt と略します）です。10年以上前から AWS Japan のみなさんより提供されてきて、AWSを学ぶエンジニアにとってバイブルのような存在です。私を含め、クラスメソッドの多くのエンジニアも、Black Belt にお世話になってきました。 以前は Black Belt のコンテンツ数もそこまで多くなく、1つのページに全リストが表示できていました。しかし、現在は複数ページで絞り込みながら目的のコンテンツを探すスタイルに変更されています。 目的を持って探す場合は便利なのですが
[アップデート] AWS Application Composer が GA になったので、追加されたっぽい Change Inspector 機能を使ってみた | DevelopersIO
いわさです。 今朝 Application Composer が GA になったとアナウンスがありました。 AWS Application Composer は re:Invent 2022 でプレビューリリースされた新サービスで、マネジメントコンソール上のビジュアルキャンバス上でサービスコンポーネントを組み合わせることで SAM テンプレートを自動生成してくれたり、あるいは既存のテンプレートを読み込むことでビジュアルキャンバス上に表示して GUI ベースで変更出来たりします。 本日時点では SAM テンプレートを開発するためのビジュアルエディター的な位置づけのサービスでしょうか。 今回 GA のタイミングで日本語対応されていたり、API Gateway から Lambda を挟まずに直接 SQS へ接続出来るようになっていたりするようです。 また Change Inspector という
![[アップデート] AWS Application Composer が GA になったので、追加されたっぽい Change Inspector 機能を使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/36c3e8833b61501c10dae8253ac8ed316669b181/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F02%2FAWS-Application-Composer.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全AWSエンジニアに捧ぐ、CloudWatch 設計・運用 虎の巻 / CloudWatch design and operation bible
