AWS Lambda で Amazon Athena のクエリを実行してS3のデータを取得する | DevelopersIO
Lambda(Python3.6)からAthenaを実行する機会がありましたのでサンプルコードをご紹介します。 Overview Event発生時にキーとなる情報を受け取り AWS Lambda が実行される Amazon Athenaでクエリを実行し実行結果を取得する Athena実行時に作成されたS3オブジェクトは削除する s3 data s3 にあるデータは以下とします。 {"name":"user1","email":"user1@example.com"} {"name":"user2","email":"user2@example.com"} {"name":"user3","email":"user3@example.com"} AWS Lambda Sample Code 呼び出されるときにnameの情報を取得しAthenaでクエリを実行してレスポンス情報を返します。 im
S3にアップロードされたファイルをlambdaで別の場所に送信する - メグリ株式会社
遅ればせながらなんだかスゴそうなlambdaを使ってみました。 lambdaでS3のイベントを受け取るには同一リージョンに作成する必要がありましたがlambdaは現在東京リージョンで使用可能です。 ですので以下は全てap-northeast-1リージョンに作成します。 まずS3のバケットを作成します。 この時点ではまだlambdaに関する設定はいりません。 次にlambda functionを作成します。 Select blueprintで言語をnode.jsとしてS3-get-objectを選択します。 次にイベントソースを設定します。Event source typeはS3、Bucketは先ほど作成したもの、Event typeはObject created(All)とします。 処理するファイルを限定する場合はPrefixにディレクトリ名、Suffixに拡張子を入れることで特定ディレク
[AWS] nodejs で s3 sync - Qiita
Lambda で S3 sync したい時とかってありますよね、無いですか？私はあったんです。 まずは npm から node-s3-client をインストール そんで、こんな感じで書きます。 Lambda や EC2 に適切な IAM ロールが割り当てられている場合は s3.createClient() に渡す s3Options.accessKeyId, s3Options.secretAccessKey は省略可能。 var s3 = require('s3'); var client = s3.createClient({ maxAsyncS3: 20, // this is the default s3RetryCount: 3, // this is the default s3RetryDelay: 1000, // this is the default multipar
![[AWS] nodejs で s3 sync - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f7a9cc51193cee9cf3f1cf6b2b9abdba4a498ad7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEJTIwbm9kZWpzJTIwJUUzJTgxJUE3JTIwczMlMjBzeW5jJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1kNDk0YjI1ZTgxMjFhYjFlNjA3NmNhNGJmMGJmNGFkMw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB3b2thbW90byZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODRmZDUzMDljMWJmYzlmMzYyYWFmNDc0NjA2MWU4YWU%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OH44K444K_44Or44Kt44Ol44O844OWIChEaWdpdGFsQ3ViZSBDby4gTHRkLiAp%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D48acd9697d7b5bed132dd207c632e9ba)
AWSサーバレスアーキテクチャでCloudFrontからWAFをかけてAPI Gatewayを呼ぶ - Qiita
AWSサーバレスアーキテクチャで 不正なパラメータを含んでいるリクエスト（XSS、SQLインジェクションなど）のチェックをかけたいという要望があったので WAF（Web Application Firewall）をかけて呼び出ししてみます。 WAFをかけるためには必然的にCloudFrontを利用することになります。 構図としては下記のような構図になります。 （この図では省略していますが、Cognito User Poolを導入することでさらにユーザ認証を導入することも可能です） また、CloudFrontは署名付きURL(ワンタイムURL)を利用する以外に外部から直接アクセスを防ぐ方法がないため、 認可API経由でワンタイムURLを払い出しています。 さらにCloudFront経由でAPI Gateway呼び出しをするため、 かなり複雑な構成、設定になります。 ワンタイム払い出し Cog
Amazon CloudFrontでプライベートコンテンツにアクセス その2 | DevelopersIO
前回は、Private Distributionの作成と、CloudFrontユーザにREAD権限をアサインするところまで行いました。 今回は、実際にURLを発行してアクセスを試してみたいと思います。 最初に作成されたCloudFrontのURLにアクセスできないことを確認しておきます。 以下のURLにブラウザからアクセスします。 http://d3c647ktcg1tdv.cloudfront.net/AWS.png キーペアIDが見つからないと怒られました。 署名付きURLの発行 CloudFrontキーペアIDと秘密鍵を指定して、署名付きURLを作成します。 以下がソースです。 今回は、現在日付から60秒間だけ有効なURLを発行してみます。 import java.io.FileInputStream; import java.io.FileNotFoundException; im
サーバーレスのクエリサービス「Amazon Athena」のチュートリアルでS3上のログを集計してみる - サーバーワークスエンジニアブログ
こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。（re:Inventの動画はこちら） Amazon Athena とは Amazon Athenaはまとめると、下記のようなサービスです。 Athenaは新しいサーバーレスのクエリサービスで、分散SQLエンジンのためのクラスタ構築・運用が不要Amazon S3に保存された膨大な量のデータを、標準SQLを使って簡単に分析できる（分散SQLエンジンPrestoベース）利用者はS3に保存したデータに対して、テーブルやフィールドを定義、クエリを実行するだけ実行クエリがスキャンしたデータ量に対してのみの課金（$5/TB）JSON、CSV、ログファイル、カスタム区切りのテキスト、Apache Parquet、Apache ORC等を含む様々なフォーマットに対
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
The document discusses Amazon Web Services (AWS) Batch and how it can help customers run batch computing workloads on AWS. It notes that AWS Batch automatically provisions the optimal quantity and type of compute resources (e.g., EC2 instances) required to run jobs efficiently. It also allows customers to integrate their own scheduling and application code with AWS Batch through simple API calls o
[CloudFront + S3]特定バケットに特定ディストリビューションのみからアクセスできるよう設定する | DevelopersIO
皆さんこんにちは、yokatsukiです。 静的コンテンツの配信性能を高めるために、S3とCloudFrontを組み合わせて、CloudFrontからコンテンツを配信する形態は、Cache Distributionパターンとしてよく知られています。しかし、設定がよく理解できていないために、CroudFront以外に、S3コンテンツへ直接アクセスできるようになっていませんか？しかし具体的な設定方法をネットで調べても、(2014年9月初めの時点では)署名付きURL等のやや複雑な説明ばかりで、「配信できているからいいや」と設定をおざなりにしている方、多いと思います。 今回は、S3バケット上のコンテンツを、特に署名や期限等の複雑な設定を設けず、シンプルにCloudFrontのみからアクセスできるように設定する方法を紹介します。上記Cache Distributionパターンのシンプルな一例と考えて
![[CloudFront + S3]特定バケットに特定ディストリビューションのみからアクセスできるよう設定する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/05bf92c3dad6e282bf2cded7bb4b61f42547e50e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_CloudFront.png)
CloudFront + S3 によるCDN (Cache Distribution パターン) 構築手順 | DevelopersIO
渡辺です。 4月でも札幌は雪が降りますが、異常気象でもなんでもなく平常運転です。 今日は、いわゆるCache Distribution パターンでのCDN構築手順をまとめておきます。 CloudFrontの細かい設定は行いません。 S3を静的サイトホスティングで公開し、CloudFrontをキャッシュサーバとして設定し、独自ドメインで公開します。 構築手順 構築は以下の手順で行います。 S3バケットを作成し、静的サイトホスティングで公開する CloudFrontを作成し、オリジンにS3バケットを設定し、代替ドメインを設定する Route53に代替ドメインのCNAMEレコードを追加する S3バケットの設定 S3バケットを作成し、静的サイトホスティングで公開します。 S3バケット名は、最終的に公開するドメインとするのが無難でしょう（例: cdn.example.com）。 バケットを作成したな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
