AWS Lambda で Amazon Athena のクエリを実行してS3のデータを取得する | DevelopersIO
Lambda(Python3.6)からAthenaを実行する機会がありましたのでサンプルコードをご紹介します。 Overview Event発生時にキーとなる情報を受け取り AWS Lambda が実行される Amazon Athenaでクエリを実行し実行結果を取得する Athena実行時に作成されたS3オブジェクトは削除する s3 data s3 にあるデータは以下とします。 {"name":"user1","email":"user1@example.com"} {"name":"user2","email":"user2@example.com"} {"name":"user3","email":"user3@example.com"} AWS Lambda Sample Code 呼び出されるときにnameの情報を取得しAthenaでクエリを実行してレスポンス情報を返します。 im
S3にアップロードされたファイルをlambdaで別の場所に送信する - メグリ株式会社
遅ればせながらなんだかスゴそうなlambdaを使ってみました。 lambdaでS3のイベントを受け取るには同一リージョンに作成する必要がありましたがlambdaは現在東京リージョンで使用可能です。 ですので以下は全てap-northeast-1リージョンに作成します。 まずS3のバケットを作成します。 この時点ではまだlambdaに関する設定はいりません。 次にlambda functionを作成します。 Select blueprintで言語をnode.jsとしてS3-get-objectを選択します。 次にイベントソースを設定します。Event source typeはS3、Bucketは先ほど作成したもの、Event typeはObject created(All)とします。 処理するファイルを限定する場合はPrefixにディレクトリ名、Suffixに拡張子を入れることで特定ディレク
[AWS] nodejs で s3 sync - Qiita
Lambda で S3 sync したい時とかってありますよね、無いですか？私はあったんです。 まずは npm から node-s3-client をインストール そんで、こんな感じで書きます。 Lambda や EC2 に適切な IAM ロールが割り当てられている場合は s3.createClient() に渡す s3Options.accessKeyId, s3Options.secretAccessKey は省略可能。 var s3 = require('s3'); var client = s3.createClient({ maxAsyncS3: 20, // this is the default s3RetryCount: 3, // this is the default s3RetryDelay: 1000, // this is the default multipar
![[AWS] nodejs で s3 sync - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f7a9cc51193cee9cf3f1cf6b2b9abdba4a498ad7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEJTIwbm9kZWpzJTIwJUUzJTgxJUE3JTIwczMlMjBzeW5jJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1kNDk0YjI1ZTgxMjFhYjFlNjA3NmNhNGJmMGJmNGFkMw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB3b2thbW90byZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODRmZDUzMDljMWJmYzlmMzYyYWFmNDc0NjA2MWU4YWU%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OH44K444K_44Or44Kt44Ol44O844OWIChEaWdpdGFsQ3ViZSBDby4gTHRkLiAp%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D48acd9697d7b5bed132dd207c632e9ba)
AWSサーバレスアーキテクチャでCloudFrontからWAFをかけてAPI Gatewayを呼ぶ - Qiita
AWSサーバレスアーキテクチャで 不正なパラメータを含んでいるリクエスト（XSS、SQLインジェクションなど）のチェックをかけたいという要望があったので WAF（Web Application Firewall）をかけて呼び出ししてみます。 WAFをかけるためには必然的にCloudFrontを利用することになります。 構図としては下記のような構図になります。 （この図では省略していますが、Cognito User Poolを導入することでさらにユーザ認証を導入することも可能です） また、CloudFrontは署名付きURL(ワンタイムURL)を利用する以外に外部から直接アクセスを防ぐ方法がないため、 認可API経由でワンタイムURLを払い出しています。 さらにCloudFront経由でAPI Gateway呼び出しをするため、 かなり複雑な構成、設定になります。 ワンタイム払い出し Cog
Amazon CloudFrontでプライベートコンテンツにアクセス その2 | DevelopersIO
前回は、Private Distributionの作成と、CloudFrontユーザにREAD権限をアサインするところまで行いました。 今回は、実際にURLを発行してアクセスを試してみたいと思います。 最初に作成されたCloudFrontのURLにアクセスできないことを確認しておきます。 以下のURLにブラウザからアクセスします。 http://d3c647ktcg1tdv.cloudfront.net/AWS.png キーペアIDが見つからないと怒られました。 署名付きURLの発行 CloudFrontキーペアIDと秘密鍵を指定して、署名付きURLを作成します。 以下がソースです。 今回は、現在日付から60秒間だけ有効なURLを発行してみます。 import java.io.FileInputStream; import java.io.FileNotFoundException; im
サーバーレスのクエリサービス「Amazon Athena」のチュートリアルでS3上のログを集計してみる - サーバーワークスエンジニアブログ
こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。（re:Inventの動画はこちら） Amazon Athena とは Amazon Athenaはまとめると、下記のようなサービスです。 Athenaは新しいサーバーレスのクエリサービスで、分散SQLエンジンのためのクラスタ構築・運用が不要Amazon S3に保存された膨大な量のデータを、標準SQLを使って簡単に分析できる（分散SQLエンジンPrestoベース）利用者はS3に保存したデータに対して、テーブルやフィールドを定義、クエリを実行するだけ実行クエリがスキャンしたデータ量に対してのみの課金（$5/TB）JSON、CSV、ログファイル、カスタム区切りのテキスト、Apache Parquet、Apache ORC等を含む様々なフォーマットに対
[CloudFront + S3]特定バケットに特定ディストリビューションのみからアクセスできるよう設定する | DevelopersIO
皆さんこんにちは、yokatsukiです。 静的コンテンツの配信性能を高めるために、S3とCloudFrontを組み合わせて、CloudFrontからコンテンツを配信する形態は、Cache Distributionパターンとしてよく知られています。しかし、設定がよく理解できていないために、CroudFront以外に、S3コンテンツへ直接アクセスできるようになっていませんか？しかし具体的な設定方法をネットで調べても、(2014年9月初めの時点では)署名付きURL等のやや複雑な説明ばかりで、「配信できているからいいや」と設定をおざなりにしている方、多いと思います。 今回は、S3バケット上のコンテンツを、特に署名や期限等の複雑な設定を設けず、シンプルにCloudFrontのみからアクセスできるように設定する方法を紹介します。上記Cache Distributionパターンのシンプルな一例と考えて
![[CloudFront + S3]特定バケットに特定ディストリビューションのみからアクセスできるよう設定する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/05bf92c3dad6e282bf2cded7bb4b61f42547e50e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_CloudFront.png)
CloudFront + S3 によるCDN (Cache Distribution パターン) 構築手順 | DevelopersIO
渡辺です。 4月でも札幌は雪が降りますが、異常気象でもなんでもなく平常運転です。 今日は、いわゆるCache Distribution パターンでのCDN構築手順をまとめておきます。 CloudFrontの細かい設定は行いません。 S3を静的サイトホスティングで公開し、CloudFrontをキャッシュサーバとして設定し、独自ドメインで公開します。 構築手順 構築は以下の手順で行います。 S3バケットを作成し、静的サイトホスティングで公開する CloudFrontを作成し、オリジンにS3バケットを設定し、代替ドメインを設定する Route53に代替ドメインのCNAMEレコードを追加する S3バケットの設定 S3バケットを作成し、静的サイトホスティングで公開します。 S3バケット名は、最終的に公開するドメインとするのが無難でしょう（例: cdn.example.com）。 バケットを作成したな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。