AWS DynamoDB exportとAthena CreateTable/ExecuteQueryを定期的に実行するLambdaでお手軽データ解析基盤を手に入れる - nariのエンジニアリング備忘録

はじめに お久しぶりです。都内でエンジニアをしている nariです。 年末年始なので今年やったことをつらつら備忘録としてためておきたいと思います。 (これ一個で終わっちゃうかも。ご容赦) 作った動機 ある案件でDynamoDBに対してある程度複雑なクエリで抽出したい要件がでてきました。 しかし そもそも本番Data Storeに解析クエリを投げるのはよくない DQL(DynamoDB Query Language)の表現(unix timeの扱いetc)が貧弱/毎回解析用にIndexをはるのがつらい ので、お手軽解析環境をStream/Batchの同期タスクをお守りすることなく手に入れたい思いから作成しました。 今回は、ちょうど今年リリースされたしたDynamo export to s3のという神機能を使って作成していきます。 全体像 サンプルコードは以下 github.com サンプルコ

[st5818129]

かきました