Athena で S3 と MySQL を JOIN する | DevelopersIO
目的 クラスメソッドタイランドの清水です。 本記事では Amazon Athena を使って、S3 と MySQL を JOIN するクエリを発行します。 大まかに以下のような構成になります。 前提条件・知識 AWS アカウントを作成済み IAM Role, Policy, Cloud9 の環境を作成できる権限がある 使いたいAWS アカウントのリージョンで cdk bootstrap コマンドを実行済み aws cli の使い方 手順 環境構築 Cloud9 を使って CDK をデプロイしたり、必要なコマンドを実行するための環境を構築します。 もし手元に環境があればこの工程はスキップしても問題ありません。 まずは Cloud9 の環境が使う EC2 インスタンスにアタッチするロールを作成します。 ロールには以下のポリシーを関連付けます。 ⚠️ 最小権限ではありません。実際のプロジェクトで
【2024年】AWSアカウントの rootユーザーでしかできないことをまとめてみた | DevelopersIO
こんにちは！AWS事業本部のおつまみです。 みなさん、rootユーザーでしかできない操作を知りたいと思ったことはありますか？私はあります。 rootユーザーとは、AWSアカウントを作成した際に自動的に付与される最も権限の高いユーザーアカウントのことです。 rootユーザーには特別な権限があり、一般ユーザーアカウント(IAMユーザー)ではできない操作が可能です。 しかし、rootユーザーだと非常に強い権限を持っているので、基本的にAWSを利用する際はIAMユーザーを利用することがベストプラクティスとされています。 AWS アカウントのルートユーザーのベストプラクティス - AWS Identity and Access Management rootユーザーの認証情報が必要なタスクがある場合を除き、AWS アカウントのrootユーザーにはアクセスしないことを強くお勧めします。 また弊社AWS
CloudWatch Logsのロググループ名とログストリーム名の命名規則を一部のAWSサービスに限りまとめてみた | DevelopersIO
はじめに マルチアカウント構成において、アカウント発行後にCloudFormationを使ってアカウントのベースライン(セキュリティ、ネットワーク、ログ等)を構築することがよくあります。 その際、AWSサービスごとに1つのロググループをベースラインで作成するか、メンバーアカウント側で必要に応じてロググループを作成するかを検討する必要があります。 1つのロググループに複数のリソースのログを集約する方法と、リソースごとにロググループを作成する方法には、それぞれメリットとデメリットがあります。 1つのロググループを集約する メリット 管理するリソースが減る 手動で作成する手間が減る ログをクエリする際、関連するログが1つのロググループにまとめられていると効率的になることがある デメリット １秒間のログイベント書き込みには制限があるため、エラーになる可能性がある 各リソースごとに識別できるログスト
TEAM(Temporary Elevated Access Management) ソリューションのSlack通知を試してみた | DevelopersIO
TEAM(Temporary Elevated Access Management) ソリューションのSlack通知を試してみた IAM Identity Centerの一時的な権限昇格のソリューションのTEAMが、承認依頼のメッセージをSlack通知できるようになっていました。(リリース当時はEmailのみ) https://github.com/aws-samples/iam-identity-center-team/releases/tag/v1.1.0 このブログでは、Slack通知を試してみます。 TEAMの概要やセットアップ方法を知りたい方は以下をご確認ください。 やってみた 公式ドキュメントで通知設定の記載があるのは以下です。 Notification configuration | TEAM Slack通知を設定する TEAMアプリケーションにアクセスします。 Admini
2024年4月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 4月は68本ピックアップしました。引き続きAmazon QやBedRockのアップデートがたくさんありますので注目です。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、Developer
SIEMを使ってブルートフォースアタックを検知する | DevelopersIO
このように攻撃する側では色んな手段を用いて行ってきますが、痕跡や兆候を検知するには何を見たら良いでしょう。 当然、認証ログを見ることと、アカウント奪取の試みの痕跡の可能性となる認証失敗のイベントに注目することが最初のキーポイントになるかと思います。 これらの認証情報の窃取を狙った攻撃に対して、ログから検知・分析する方法を紹介していきます。 どのログを見るか まず認証ログとは何を指すかというところですが、Windowsのローカル認証で言えばWindows Event Logのセキュリティログ、Linuxの認証の場合はSecureログ/Authログ、ドメイン認証であればActive Directoryのログ、IdPに認証を委任していればIdPのログ、SaaSで認証していればSaaSのログといったように、認証するシステムのログを取得することが必要です。 ログの何を見るか 次にログの何を見るかとい
Pythonでリトライ処理を簡単に追加できる「tenacity」を使ってみる | DevelopersIO
今回はPythonで簡単にリトライ処理を追加できる「tenacity」を使ってみます。 デコレータ形式で簡単にリトライ処理を追加できるので便利です。 tenacityについて プログラムを書いていて、HTTPの通信などでリトライ処理を実装する機会は多いと思います。 今回はそんなリトライ処理を簡潔に書けるtenacityの使い方を説明します。 インストール インストールはpipで可能です。 pip install tenacity 使い方 シンプルな例 import random from tenacity import retry @retry def random_error(): num = random.randint(0, 10) if num > 4: print(f"Error: num={num}") raise Exception("Error!") else: retur
GWなのでRaspberry Pi 5複数台をクラスタリングしてGrafana on Kubernetesを構築する | DevelopersIO
はじめに 世の中ではGrafana Weekということで、Raspberry Pi 5複数台をクラスタリングしてKubernetesを作成し、Grafanaを載せてみたいと思います。 というのは冗談ですが、最近趣味で安価に常駐プロセスをデプロイできるホスティング環境に悩んでいました。常駐しないなら最近はゼロコールドスタートなV8 Isolateを使ったCloudflare WorkersやDeno Deployが無料枠が大きくいい感じです。 一方常駐プロセスはHerokuの無料プランがなくなりました。AWS AppRunnerは起動時間を人間が稼働している時間のみに絞っても10$はかかります。fly.ioは、Legacy hobby planでCPU-1x 256mb VM 3つと3 GB 永続ボリュームストレージは無料で扱えます。fly.ioはCLIもよくできているので、軽い検証の場合こ
AWS入門ブログリレー2024〜AWS IAM Access Analyzer編〜 | DevelopersIO
コンバンハ、千葉（幸）です。 当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の33日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合いいただければ幸いです。 では、さっそくいってみましょう。今回のテーマは『AWS Identity and Access Management (IAM) Access Analyze
AWS入門ブログリレー2024〜AWS IAM編〜 | DevelopersIO
上記の要素から構成される ARN の例は以下です。 EC2 インスタンス：arn:aws:ec2:ap-northeast-1:123456789012:instance/i-0abcdef1234567890 VPC：arn:aws:ec2:us-east-1:123456789012:vpc/vpc-0e9801d129EXAMPLE IAM ユーザー：arn:aws:iam::123456789012:user/johndoe ※ awsパーティションの IAM のリソースの ARN にはリージョンコードが含まれません AWS リソースは ARN によって全世界の中で一意に特定できる、ということを覚えておきましょう。 参考：Amazon リソースネーム (ARN) - AWS Identity and Access Management AWS リソースへのアクセスとは ここでの A
[AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO
サクッとSAML認証を実装したい こんにちは、のんピ(@non____97)です。 皆さんサクッとSAML認証を実装したいなと思ったことはありますか? 私はあります。 自分でSAML認証のService Provider(SP)側の処理を実装するのは大変です。そのような場合はALBとCognitoを使うと簡単に行えます。 ということで実際にやってみました。今回はIdPとしてOktaを使用します。 「SAML認証ってなんやねん」や「OktaのSAMLアプリってどうやって作成すればいいんだ」、「CognitoでSAML認証ってどうやって行えばいいんだ」という方は以下ドキュメントをご覧ください。 初心者向けSAMLガイド SAMLアプリ統合を作成する | Okta ユーザープールへの SAML ID プロバイダーの追加 - Amazon Cognito また、せっかくなので以下アップデートで可能
![[AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/01997881325332bcbeca491a7a712a5024e39095/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cognito.png)
AWS入門ブログリレー2024〜AWS Config編〜 | DevelopersIO
AWS Configについて2024年時点の情報をまとめてみました。AWSサービス入門記事として是非ご活用下さい。 当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の31日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマは『AWS Config』です。
AI サービスで使用するデータは AWS 側に保存されますか？ | DevelopersIO
困っていた内容 AWS で Rekognition や Transcribe などの AI サービスを利用してアプリを開発しています。 AI サービスで利用するデータが AWS 側に保存されるかどうかが気になっています。 また、もし保存される場合には保存されない設定を実施したいと考えています。 どう対応すればいいの？ AWS サービスの開発および継続的な改善のために、デフォルトでは AWS 側にデータが保存されます。 Amazon Rekognition、Amazon CodeWhisperer、Amazon Transcribe、Amazon Connect 用コンタクトレンズなど、AWS 人工知能 (AI) サービスは、これらのサービスによって処理された顧客コンテンツを保存して使用することがあり、他の AWS サービスの開発および継続的な改善のために使用されることがあります。 AWS
[登壇レポート]「Terraformあれやこれ」という内容で登壇してきました #jawsug_asa #jawsug | DevelopersIO
仕事で Terraform を使うことになり、勉強中に奮闘した内容をまとめています。Terraform を使ったことがない方、使い始めたばかりの方に参考にしていただけると嬉しいです。 コーヒーが好きな emi です。 JAWS-UG朝会 #56 で「Terraformあれやこれ」というタイトルで 20 分登壇してきました。 仕事で Terraform を使うことになり、勉強中に奮闘した内容をまとめています。Terraform を使ったことがない方、使い始めたばかりの方に参考にしていただけると嬉しいです。 登壇資料 発表のダイジェスト 当日は 60 ~ 70 名程度の方が視聴くださいました。はじめに普段一番よく利用する IaC ツールを伺ったところ、 CloudFormation CDK Serverless Framework を使われる方が多く、あまり Terraform を使っている方
![[登壇レポート]「Terraformあれやこれ」という内容で登壇してきました #jawsug_asa #jawsug | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5ca91aa09fa531d15f9d6ca85f0a21e23591cbc9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fjaws-ug-logo-1200x630.png){kind=logo}
MFA認証を使ったAssumeRoleでシンプルにTerraformを実行する(aws configure export-credentials) | DevelopersIO
MFA認証を使ったAssumeRoleでシンプルにTerraformを実行する(aws configure export-credentials) Terraform実行時のMFA認証を使ったAssume Roleを楽にできる方法がないか調べていたら、以下のコメントを見つけました。 Doesn't ask MFA token code when using assume_role with MFA required #2420 どうやらツールや長いコマンドの実行なしで、MFA認証ありでも簡単にAssume Roleができそうです。 便利だったのでブログにしてみました。 TerraformのMFA認証事情は以下のブログをご確認ください。 結論 この方法では、aws-vaultやaws-mfaなどのツールは不要です。 以下のようにProfileを用意して、terraformのコマンドを打つだけ
[アップデート]TerraformのProviderが関数を定義できるようになりました | DevelopersIO
2024/4/10にGAになったTerraformのVersion1.8にて、Providerが関数を定義できるようになりました。各Providerの開発者はそのProvider固有の問題解決に特化した関数を作成できるようになりました。 本エントリでは新関数たちを触ってみてレポートします。 Providerって？ Terraformをあまりご存じない方向けに説明すると、ProviderはTerraformのプラグインです。実はTerraform単体ではAWSのリソースなどをプロビジョニングすることはできません。AWSリソースをプロビジョニングしたい場合はAWS provider、Google Cloudのリソースをプロビジョニングしたい場合はGoogle Cloud providerなどといったように、対応するproviderと組み合わせてTerraformを使うことではじめてリソースをプ
[アップデート] AWSマネジメントコンソールのコストと使用状況ウィジェットから Cost Optimization Hub が有効化できるようになりました | DevelopersIO
こんにちは！AWS事業本部のおつまみです。 みなさん、AWSマネジメントコンソール毎日見ていますか？私は見ています。 マネジメントコンソールを開いたら、いつの間にかコストと使用状況ウィジェットから Cost Optimization Hub が有効化できるようになっていました！ さっそく有効化してみたのでご紹介します。 Cost Optimization Hub とは Cost Optimization Hub とは、コスト最適化推奨事項を一元的に管理するサービスです。 2023年のre:Inventで発表された新サービスですね。 これまでコスト最適化のために、Compute Optimizer や Trusted Advisor、Cost Explorer などのサービスを各々確認する必要がありましたが、このサービスを有効化するだけで、一元管理したダッシュボードを提供してくれます。 引用
![[アップデート] AWSマネジメントコンソールのコストと使用状況ウィジェットから Cost Optimization Hub が有効化できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/250346253707d3d3b5abee51489fc5d7f28eb231/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-management-console.png)
疲弊しないAWSセキュリティ統制の考え方【資料公開】 #devio_osakaday1 | DevelopersIO
大阪オフィスの川原です。 クラスメソッドのシン・大阪オフィスでの初イベント DevelopersIO OSAKA Day One -re:union- にて 『疲弊しないAWSセキュリティ統制の考え方』 というメインセッションを話しました。 ご参加いただいたみなさま、ありがとうございます！ 発表で使った資料を本ブログで公開します。 当日の発表では時間の都合上話せなかった部分もいくつかありますので、 気になった方はぜひ見てください。 参考になれば幸いです。 スライド 参考資料 責任共有モデル | AWS NIST Releases Version 2.0 of Landmark Cybersecurity Framework | NIST NIST Cybersecurity Framework (CSF) 2.0 Reference Tool | NIST Cyber Defense Ma
AWS入門ブログリレー2024〜 Amazon Athena 編〜 | DevelopersIO
データレイクとデータウェアハウス（DWH）は、データの形式、加工の有無、スキーマの扱い方、用途、スケーリングのしやすさ、コストなどの点で大きく異なります。データレイクは、様々な形式のデータを加工せずに格納でき、探索的な分析や機械学習などに適しています。一方、データウェアハウスは、主に構造化データを扱い、定型的な分析やレポーティングなどに適しています。 データレイクとしてテーブルフォーマットHIVEを用いる場合と、データウェアハウス（DWH）に限りなく近い用途でテーブルフォーマットICEBERGを用いる場合がある。Amazon Athenaは、これらの2つのテーブルフォーマットのデータをシームレスにブレンドできるのが大きな特長です。 データウェアハウス(DWH)について、もう少し知りたい方は以下の動画をご覧ください。 Amazon Athenaのクエリエンジン Amazon Athena は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS再入門2024 | DevelopersIO
