MCPツールを用いた自然言語でのAWSコスト分析
みなさんこんにちは！ カンリーのプラットフォーム部でSREを担当している有村です。 今回は、AWSのCost and Usage Report（CUR）をAIツールを用いて分析する事例を紹介します。 コスト分析における課題 AWSのコストを分析する際、Cost ExplorerとCURを活用する方法がありますが、それぞれ以下のような課題があります。 Cost Explorer AWSのサービスごとのコストをグラフで視覚的に確認できる一方、利用用途ごとの詳細なコスト分析が困難 CUR コスト利用状況を詳細に分析できるが、クエリを用いた分析を行う場合、Athena等で分析用テーブルを作成する必要がある 分析環境の構築工数やクエリ実行時のコストを考慮する必要がある SQLなどのクエリを実行する知識が必要 本記事では、MCPツールを用いて上記の課題を解決し、自然言語で直感的にAWSのコスト分析を行
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい 初寄稿の @wa6sn です。8/3-4 に開催される SRE NEXT 2024 が楽しみですね。筆者の所属する 株式会社ギフティ も、GOLD スポンサーとしてブースを出しています。ノベルティも配っているので、ぜひお立ち寄りください。 さて本題ですが、今回は AWS IAM Identity Center で付与したアクセス権限の棚卸しについて述べます。SRE をやっていると、こうした AWS アカウントに対するセキュリティ対策に関わる機会も多いのではないでしょうか、ということで書いてみました。なお、筆者の環境では Control Tower を利用して全アカウントで CloudTrail を有効化しつつログを一元保管しているという前提があります。 権限クリープ マルチアカウント運用が広まっている昨今では
運用中のデータレイクアーキテクチャのストレージをS3 Tables へ移行するには - every Tech Blog
運用中のデータレイクアーキテクチャのストレージをS3 Tables へ移行するには 背景 前提条件 要件 S3 Tablesを導入したトランザクショナルデータレイクアーキテクチャの構築 既存のデータを移行する方法を模索 問題発生 解決策 並行運用の場合 新規データを直接配信する方法 まとめ 最後に こんにちは、開発本部 開発２部 RetailHUB NetSuperグループに所属するホーク🦅アイ👁️です。🎋七夕🎋が近いですが皆さまいかがお過ごしでしょうか。 背景 最近我々のチームで管理しているAWSサービスにおいて本番環境のS3サービスが毎月右肩上がりにコスト上昇していることがわかりました。aws s3apiコマンドや、python SDKの get_cost_and_usage_with_resourcesAPIを駆使してコスト増の原因を調査した結果、非常に多くのGetObjec
CDKを使ったStepFunctionで、わかりやすいデプロイフローを構築する - Uzabase for Engineers
皆様こんにちは、ソーシャル経済メディア「NewsPicks」(Platform Engineering Team チーム)エンジニアの北見です。 弊社ではIaaC として CDK を採用しており、アプリケーションのデプロイフローの構築にも利用しています。 StepFunction は AWS の提供する機能で、複数のTaskから構成されおり、一連の処理フローを管理する上で大変便利です。 StepFunctionの例。コンソール上でフローをグラフとして確認できる 今回はデプロイフローとしての StepFunction の利用例をご紹介します。 CDKを使ったStepFunctionによるデプロイフローの構築例 今回は コミットidを受け取り、アプリケーションの成果物がECRにあるかを確認 →ECSのサービスを作成 or 更新 → Slack通知(成功 or 失敗) の流れでアプリケーションを
KEDAを導入してAWS SQSキューとHTTPリクエストベースのスケーリングを実現する - Sansan Tech Blog
こんにちは、年始に研究開発部ArchitectグループからSPEU（Strategic Products Engineering Unit） SREグループに異動したジャン（a.k.a jc）です。 本記事では、異動前に研究開発部Architectグループが開発・運用している、Circuitと呼ばれるKubernetes基盤の管理にイベント駆動のスケーリングを実現するために、KEDAを導入した際の概要を紹介します。 KEDA導入の背景 利用者から、契約書の自動データ化を行うR&Dサービスをプラットフォーム「Circuit」上に構築したいという要望がありました。 開発者の運用負荷・インフラ構築の負担を軽減したい背景です。R&Dサービスの要件は既存APIと異なり、常時待ち受けが不要のため、Amazon SQSキューのメッセージ数に応じてスケールする仕組みを構築することが求められました。具体的な
Route 53 による DNS クエリログを全部 Athena で取り扱えるようにした - MNTSQ Techブログ
はじめに MNTSQ はそのサービスの性質（「契約」の集約、一元管理、活用）上、セキュリティの維持と向上が至上命題です。 セキュリティへの取り組みには幾つかのアプローチがありますが、何が不足しているのか、どういった対処が必要かという点を突き止めるには情報が必要です。これはどういったアプローチを取るにしても共通して重要な観点と思います。 本稿はこの情報の獲得のためのログ収集範囲の拡充を行った記録となります。対象は Route 53 の DNS クエリログです。 なぜ DNS クエリログを取るか DNS クエリログはその名前の通り DNS へのクエリのログです。つまり いつ 誰が 何を どこから（「誰が」と同一の情報になる場合あり） が DNS クエリ単位で得られます。Route 53 で得られる DNS クエリログには以下2種類があります。 公開 DNS クエリログ：Public DNS q
手動からの解放！！Strands Agents で実現する総合テスト自動化
JAWS-UG 東京 Strands Agents Meetupで登壇した内容です。
JWTを検証してAWS Verified Accessの経路判定をやってみた - ENECHANGE Developer Blog
CTO室のtockeysanです。 弊社のとあるプロダクトではAWS Verified Access(以降Verified Access)を使用してECS環境にアクセスをしています。 ユーザーがVerified Accessの経路でアクセスしたことをECS上で動いているRailsアプリケーション上で判定・検証する要件があったため、その実装を解説していきたいと思います。 構成 アクセス経路の判定 カスタムヘッダー JWTの検証 1. signerの確認 2. シグニチャの検証 3. 有効期限の検証 実装例 まとめ 構成 ECS環境にはVerified Accessを経由するほか、CloudFrontからALBを通してアクセスするユーザーが存在します。イメージとしては一般ユーザーと管理者といった区別をしていて、管理者はVerified Accessで認証をしてECSにアクセスすることで管理者機
ClamAVからS3 Malware Protectionへ - WILLGATE TECH BLOG
この記事は「ウィルゲート Advent Calendar 2024」の 14日目の記事です。 adventar.org 弊社ではAWS S3へのファイルアップロードのウィルススキャンに関してClamAVを導入していました。 tech.willgate.co.jp あれから4年が経過し、ClamAVからAmazon GuardDutyのS3 Malware Protectionに移行しようとインフラチームで持ち上がりその際に調査した事に関して書いていきたいと思います。 背景と目的 背景 目的 構成図比較 ClamAV S3 Malware Protection ウィルススキャン後の仕様に関して タグ コスト スキャンにかかる時間 まとめ 背景と目的 背景 過去セキュリティリスクの対策として、lambdaとec2を利用したClamAVでのウイルスチェックの仕組みを導入してきました。アップロード
AWS CDK コンストラクトライブラリ開発に関する5つのTips - maybe daily dev notes
AWS CDK TIpsシリーズの記事。 最近 deploy-time-build というCDK コンストラクトをリリースできたので、その過程で得られた知見を共有する。 github.com Tips プロジェクトの初期化はprojenで一発 プロジェクト生成ツールのprojenを使うことで、コマンド一発でリポジトリのベースを生成できる。詳しくはここを参照。コマンドはこんな感じ。 mkdir cool-construct cd cool-construct npx projen new awscdk-construct これに共通で必要なもの (package.jsonやeslintrc.json、GitHub Actionsの構成などまで！) はすべて入っているので、開発者は文字通りコンストラクトを定義するコードだけ書けば、自作コンストラクトを良い感じにリリースできる。 この開発体験はか
GuardDuty Malware Protection for S3 本番導入の手引き - Nealle Developer's Blog
GuardDuty Malware Protection for S3 本番導入の手引きこんにちは！ニーリーアドベントカレンダー 9日目 その1担当の松村です。 秋も終わるなぁと思いながら公園を散歩してたらまだまだ紅葉が綺麗でした。カメラ持って出ればよかった… さて、今回は GuardDuty Malware Protection for S3 の導入に関するレポートです。 GuardDuty Malware Protection for S3 は AWS の脅威検出サービスである GuardDuty が提供している S3 バケットのマルウェアスキャン機能です。 2024年6月に一般提供が開始され、AWS ネイティブの S3 スキャンサービスとして話題になりました。 docs.aws.amazon.com ニーリーでは2024年9月ごろこのマルウェア保護を有効にしました。 この記事ではマル
AWS CDKにおけるLazyの使い所 - 365歩のテック
AWS CDK の Lazy の具体的な使い方・使い所についてまとめました。 目次 目次 目次 Lazy とは Lazy の実用的な具体例 1. add メソッドとの併用 2. 参照順序の逆転・循環依存 3. IAM PolicyStatement の統合 実際に Lazy で対応した参考 PR PolicyStatement が統合される仕組み 統合処理の CDK 内部コード バリデーション トークン トークンのバリデーション トークンの解決 最後に Lazy とは AWS CDK には Lazy という、便利だけれどもあまり知られていない機能があります。 Lazy とは「遅延処理」のための機能(クラス)です。 例えば、Construct のとあるプロパティに値を指定する際、指定した時点ではまだ値を決定させず、合成(synth)が完了するタイミングで値を決定(解決)させたいケースに使用で
AWS Glueジョブ（PySpark）でデータ移行した話 - JMDC TECH BLOG
データウェアハウス開発部の高野です。現在はオンプレミスの電子カルテデータ基盤のAWS移行のプロジェクトに参画しています。 今年、JMDCではアドベントカレンダーに参加しています。 qiita.com 本記事は、JMDC Advent Calendar 2024 7日目の記事です。 はじめに 電子カルテデータ基盤のAWS移行を進めている中、オンプレミスの旧データ基盤のデータ移行が要件の1つとしてありました。AWSでは主なデータベースとしてAmazon Redshift Serverlessを採用しており、そちらに移行データを連携したい、データ移行に必要なデータ形式が様々だったことからデータ移行はAWS Glueジョブ（PySpark）を使って対応しました。データウェアハウス開発部ではSQLでのデータ変換が主流ですが、今回AWS Glueジョブ（PySpark）を使って良かった点について書いて
手動作成AWSリソースをIaC化するモブプロ「cdk import day」を定期開催している話 - Uzabase for Engineers
はじめに 「私…全ての手動作成AWSリソースを生まれる前に消し去りたい。全ての宇宙、過去と未来の全ての手動作成AWSリソースを…この手で！」 そんなことを思われた経験はないでしょうか？私は常に思っています。 こんにちは。ソーシャル経済メディア「NewsPicks」のSREチームの安藤です。 先日の JAWS-UG CDK支部 #14 にて、テーマが「IaC Generator祭り」だったこともあり、以下のタイトルでLT発表させていただきました。 www.docswell.com 上記の発表はAWS CDKのコミュニティのライトニングトークということもあり簡単なTIPS紹介が中心だったので、本記事では改めて背景と概要について紹介します。 背景 NewsPicksというサービスは10年以上の歴史があり、サービス開始当初からAWSを利用していました。 現在は、Infrastructure as
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CNAPPから考えるAWSガバナンスの実践と最適化
AWS Glue for Ray の普及にささやかで微力な貢献を
デモ実装で考えるStrands Agentsのいいところ
Guard を利用した AWS Config ルール
改めてAWS WAFを振り返る～業務で使うためのポイント～
Glacierだからってコストあきらめてない？ / JAWS Meet Glacier Cost