DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた | DevelopersIO
コンバンハ、千葉（幸）です。 DynamoDB テーブルの中身を S3 バケットにエクスポートしたい、という場合があるかと思います。S3 にエクスポートしたものに対して、例えば Athena を利用して解析をかけたい、といったケースです。 AWS Glue や AWS Step Functions を利用して、定期的にエクスポートを行う仕組みについて以下のブログで紹介されているので、試してみました。 CloudFormation テンプレートや スクリプトが用意されているので、一通り流すだけでできます。 全体像としては以下のイメージです。 Data Pipeline, EMR, Glue の比較 Step Functions の Glue Workflow への置き換え Glue ETL スクリプトの 各種バージョン Glue ETL スクリプトのDynamoDB 読み取り並列度 目次 D
Lambdaを使ってS3にアップロードされたファイルを自動的にEC2(Windows)内にダウンロード(同期)してみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 S3にアップロードされたファイルをEC2内に自動的にダウンロードしたいと思うことはよくあると思います。 自動化する方法はいろいろあると思いますが、 今回はLambdaとSSM、AWS CLIを使って自動化してみたいと思います。 さっそくやってみましょう。 構成図 今回、想定する構成が下記の図になります。 S3にファイルがアップロードされたら、LambdaからSSMを実行し、 EC2(Windows)にてAWSCLIのS3 Syncコマンドを実行します。 この構成の利点 私が思うこの構成の利点としては、 ・EC2側はAWS CLI設定とSSM Agentのインストールだけで済み、今後の運用不可が軽減されそう ・Lambdaの実装がSSMを実行する部分のみになる はじめはEC2にFTPサーバをたてて、LambdaでS3からファイルを取得し、EC2にコピーし
[ Serverless ] Cognito、S3、Lambdaで認証機能付きのWebサイトを作ってみました - Qiita
[ Serverless ] Cognito、S3、Lambdaで認証機能付きのWebサイトを作ってみましたAWSS3lambdacognitoserverless 前置き 半年前くらいに、S3、Cognito、Lambdaを使って、問い合わせフォームが作ったという投稿を見て、初めてCognitoを触ってみました。その時の個人的な感想として、モバイルアプリを作らなくても、S3やLambdaなどと組み合わせてみれば、「ちょっとしたServerlessのWebサイトを作れるじゃん！」と感じました...が、当時、Cognitoには「User Pool」がまだ提供されていないこともあって、その構成には認証機能が実装されていませんでした。だれでもそのS3に公開されているWebページから投稿できてしまいます。便利といえば便利ですが、S3 put攻撃への心配や一部の人にのみ使ってもらいたい時にはちょっと
![[ Serverless ] Cognito、S3、Lambdaで認証機能付きのWebサイトを作ってみました - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ecf88970c5558f662af88ac20c16263c7df78f5a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJTIwU2VydmVybGVzcyUyMCU1RCUyMCUyMENvZ25pdG8lRTMlODAlODFTMyVFMyU4MCU4MUxhbWJkYSVFMyU4MSVBNyVFOCVBQSU4RCVFOCVBOCVCQyVFNiVBOSU5RiVFOCU4MyVCRCVFNCVCQiU5OCVFMyU4MSU4RCVFMyU4MSVBRVdlYiVFMyU4MiVCNSVFMyU4MiVBNCVFMyU4MyU4OCVFMyU4MiU5MiVFNCVCRCU5QyVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MSVCRSVFMyU4MSU5NyVFMyU4MSU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NDIyODgxYzVjMjU3ZTVjNTgwMmU5NWJhZWVkMDA2MTA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBqb2JiaW4mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWFlM2NlYjIwZjVkZTYzNGU2MmJlOWEyN2ZiZDQyMTAw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D004e7ba22ab14fe109d3cf95ac2427f1)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Lambdaで作るクローラー／スクレイピング
