AWS Lambda で Amazon Athena のクエリを実行してS3のデータを取得する | DevelopersIO
Lambda(Python3.6)からAthenaを実行する機会がありましたのでサンプルコードをご紹介します。 Overview Event発生時にキーとなる情報を受け取り AWS Lambda が実行される Amazon Athenaでクエリを実行し実行結果を取得する Athena実行時に作成されたS3オブジェクトは削除する s3 data s3 にあるデータは以下とします。 {"name":"user1","email":"user1@example.com"} {"name":"user2","email":"user2@example.com"} {"name":"user3","email":"user3@example.com"} AWS Lambda Sample Code 呼び出されるときにnameの情報を取得しAthenaでクエリを実行してレスポンス情報を返します。 im
S3にアップロードされたファイルをlambdaで別の場所に送信する - メグリ株式会社
遅ればせながらなんだかスゴそうなlambdaを使ってみました。 lambdaでS3のイベントを受け取るには同一リージョンに作成する必要がありましたがlambdaは現在東京リージョンで使用可能です。 ですので以下は全てap-northeast-1リージョンに作成します。 まずS3のバケットを作成します。 この時点ではまだlambdaに関する設定はいりません。 次にlambda functionを作成します。 Select blueprintで言語をnode.jsとしてS3-get-objectを選択します。 次にイベントソースを設定します。Event source typeはS3、Bucketは先ほど作成したもの、Event typeはObject created(All)とします。 処理するファイルを限定する場合はPrefixにディレクトリ名、Suffixに拡張子を入れることで特定ディレク
HTMLフォームからAPIGatewayを使ってAWS LambdaにPOSTする - Qiita
AWSのフォーラム内で質問されている内容を日本語で解説した記事になります。 参考リンク： https://forums.aws.amazon.com/thread.jspa?messageID=663593&tstart=0#663593 前提 HTMLフォームによるPOSTリクエストでは、各inputタグの内容をkey=valueの形式として&でつないだものがリクエストボディとして送信されます。 <form action="./endpoint"> <input type="text" name="hoge" value="fuga"/> <input type="text" name="piyo" value="ihr"/> <input type="submit" value="送信"> </form> --- hoge=fuga&piyo=ihr しかし、Lambda functi
[AWS] nodejs で s3 sync - Qiita
Lambda で S3 sync したい時とかってありますよね、無いですか？私はあったんです。 まずは npm から node-s3-client をインストール そんで、こんな感じで書きます。 Lambda や EC2 に適切な IAM ロールが割り当てられている場合は s3.createClient() に渡す s3Options.accessKeyId, s3Options.secretAccessKey は省略可能。 var s3 = require('s3'); var client = s3.createClient({ maxAsyncS3: 20, // this is the default s3RetryCount: 3, // this is the default s3RetryDelay: 1000, // this is the default multipar
![[AWS] nodejs で s3 sync - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f7a9cc51193cee9cf3f1cf6b2b9abdba4a498ad7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEJTIwbm9kZWpzJTIwJUUzJTgxJUE3JTIwczMlMjBzeW5jJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1kNDk0YjI1ZTgxMjFhYjFlNjA3NmNhNGJmMGJmNGFkMw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB3b2thbW90byZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODRmZDUzMDljMWJmYzlmMzYyYWFmNDc0NjA2MWU4YWU%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OH44K444K_44Or44Kt44Ol44O844OWIChEaWdpdGFsQ3ViZSBDby4gTHRkLiAp%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D48acd9697d7b5bed132dd207c632e9ba)
初めてのJavaScript、初めてのAWS Lambda | DevelopersIO
はじめに 佐々木です。開発経験も無くJavaScriptを触ったこともない僕ですが、どうしてもAWS lambdaを触ってみたかったので、四苦八苦しながらやってみました。 すでにバリバリ活用しているブログ記事がたくさん出ていますが、本記事は本当に何もわからない僕がよちよち歩きしている内容ですので、深いところは期待しないでください。そして識者のツッコミをお待ちしております。 AWS lambdaの基本的な使い方は以下の記事をご参照ください。 AWS Lambdaを始めてみる(1).ユーザーアプリケーションからのイベントを扱う AWS Lambdaを始めてみる(2).Amazon S3イベントを扱う やってみる MBAにnode.jsをインストールする とりあえず簡単な構文チェックだけでも手元でやりたいので、MBAにbrewを使ってnode.jsをインストールします。 $ brew insta
AWSサーバレスアーキテクチャでCloudFrontからWAFをかけてAPI Gatewayを呼ぶ - Qiita
AWSサーバレスアーキテクチャで 不正なパラメータを含んでいるリクエスト（XSS、SQLインジェクションなど）のチェックをかけたいという要望があったので WAF（Web Application Firewall）をかけて呼び出ししてみます。 WAFをかけるためには必然的にCloudFrontを利用することになります。 構図としては下記のような構図になります。 （この図では省略していますが、Cognito User Poolを導入することでさらにユーザ認証を導入することも可能です） また、CloudFrontは署名付きURL(ワンタイムURL)を利用する以外に外部から直接アクセスを防ぐ方法がないため、 認可API経由でワンタイムURLを払い出しています。 さらにCloudFront経由でAPI Gateway呼び出しをするため、 かなり複雑な構成、設定になります。 ワンタイム払い出し Cog
Yahoo!Pipeが終了して全自動はてブ棚卸しが使えなくなってたのでAPI Gateway + Lambdaで自作してみた | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。2017年になって今更感がありますが、はてなブックマークが10周年を迎えたそうです。 はてなブックマーク10周年 - はてなブックマーク はてブを遡ってみたところ、私は2006年1月から利用を開始したようです。10年以上も愛用させてもらってます。 当時の話題や取り組んでいた仕事に関係するページを次々とはてブに登録していくわけですが、自分がどんな事に興味を持っていたのか振り返ってみたくなりました。 その時に見つけたのがYahoo! Pipesというサービスを使った「全自動はてブ棚卸し」です。 下記が当時「全自動はてブ棚卸し」を紹介していたブログです。 全自動ブックマーク棚卸しが想像以上に有意義な件 - てっく煮ブログ ただYahoo! Pipesが2015年9月にサービスを停止してしまい、これに伴ってはてブ棚卸しも終了してしまいました。残念
AWS LambdaでHTMLを出力してみた - Qiita
はじめに AWS Lambdaを最近触り始めたのですが、この仕組みの便利さにもう夢中です。 Lambdaを活用して真っ当なことは、Qiitaにも沢山の事例が出ているので、 せっかくだから、あえて変なことをやってみた結果を投稿していきたいと思います。 最初のチャレンジはEC2なしでWebサイトを構築できるかどうか、 LambdaでHTMLの出力にチャレンジしてみよう、です。 HTMLコードの出力 まずは、シンプルにHTMLコードの出力を試してみました。 exports.handler = function(event, context){ context.done(null, "<html><head><title>Hello</title></head><body>Hello HTML</body></html>") } 結果は "<html><head><title>Hello</tit
API Gatewayへの入力値にLambdaからアクセスする - Qiita
Amazon API GatewayとAWS Lambdaを組み合わせて利用しているときに、リクエストヘッダやURLクエリパラメータなどの入力値にLambdaのコードからアクセスできるようにする方法について説明します。 Integration Requestを選ぶ Mapping Templatesを選ぶ テンプレートを作成する application/json用のテンプレートを作成します。 テンプレートを編集する 内容は以下の通りです。執筆時点で API Gatewayのドキュメント で説明されている全ての値を参照できるようにしてみました。このテンプレートはVTLという言語で記述することになっているので、詳しく知りたい人は ユーザガイド を見ると良いです。 { "accountId": "$context.identity.accountId", "apiId": "$context.a
API Gateway + Lambda にFormからPOSTする時のマッピングテンプレートを作成しました | DevelopersIO
こんばんは、菅野です。 また API Gateway + Lambda に関するブログエントリーとなります。 今回は API Gateway + Lambda にFormからPOSTする時のマッピングテンプレートを作成しました。 はじめに API Gateway + Lambda を使った API に対し Form から Post して Lambda に値を渡すにはマッピングテンプレートを登録する必要があります。 その中でリクエストボディを Key と Value に分けるといった処理が必要になるので、どうやって値を取得するのか、どうやって分解すればいいのかを調べました。 同じような境遇の方や、Webサーバーから API Gateway + Lambda へ移行したいと思っている方は一度ご覧ください。 Content-Type について Form からPOSTする場合に使われる Conte
AWS Lambda を利用する上で知っておいたほうがよいこと - ボクココ
本ブログで度々紹介している AWS Lambda。改めてもう一度解説すると、コード(Node.js or Java)を実行する環境をAWS側で用意してくれる。"実行したいときに用意したコードを実行できる"ため、必要な料金を最低限に抑えられる。私が最も気に入っているAWSサービスの一つだ。 さて、具体的な使い方に関しては AWS Lambdaの公式ドキュメントを始め、Qiitaなどでもやってみた系でたくさんあるので、本エントリーではそれを利用する上で知っておいたほうがよりよいことを挙げる。というより私が実際に利用してみて詰まったところや感動したことなどを挙げてみる。 コード失敗時にリトライをデフォルトで3回行う 公式ドキュメントにもこのことは書いてあるのだが、見落として不可解な気持ちになるので、これは必ず知っておいたほうがよい。Node.js の場合、Lambdaのコード実行完了時にcont
【新機能】Amazon API Gatewayを使ってAWS LambdaをSDKなしでHTTPS越しに操作する | DevelopersIO
こんにちは、せーのです。今日はLambdaがより使いやすくなる新機能をご紹介します。 サラッと今朝出たての新しいサービスが登場したりしますが、社内のチャットがざわざわしていたのでその詳しい解説はまた別の記事で紹介されるかと思います。 今回の新機能はLambda FunctionをAPI化してしまってSDKのインクルードなしに叩いてしまおう、という機能です。 LambdaをWebから叩くにはSDKが必要 先日、こんな記事を書きました。 Amazon EC2を(なるべく)使わずにシステムを構築してみる この記事の中でLambdaをJavaScriptから直接叩いたことに意外と反響がありました。Lambdaで動くようなマイクロな関数であればもはやEC2は要らないんですね。 ただこのようにWebからJavaScriptを使ってLambdaを叩くにはこの記事にあるように「AWS SDKのセット」と「
[Java] EC2を朝起動して夜間と土日祝日は自動的に停止状態にするLambdaファンクション | DevelopersIO
はじめに 開発環境のサーバを業務時間内だけ起動状態してくれるLambdaファンクションです。Node.jsで書かれたものは以前このブログで紹介しているのですが、私はNode.jsが苦手なのでJavaで書いてみました。ついでに祝日やお盆休みなど会社の休みも環境を使わないと思いますので起動しないようになっています。IAMロールの作成やスケジュールイベントの登録方法はNode.jsと変わらないので以下の記事をご覧ください。 LambdaのScheduleイベントでEC2を自動起動＆自動停止してみた#reinvent 実装する 1つのファンクションで起動・停止を行うようになっています。実行した時間が午前の場合は起動、午後の場合は停止になっています。 起動停止する時間はLambdaのスケジュールイベントを設定した時間になります。 起動したい時間(午前)と停止したい時間(午後)でスケジュールイベントを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Testable Lambda: Working Effectively with Legacy Lambda
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。