広島の吉川です。 DynamoDBに蓄積したデータを分析用途で柔軟に検索したいという要件に対し、Athenaが良い武器になる気がしたので素振りしてみました。 「DynamoDBからS3にCSV出力し、そのCSVをAthenaで集計する」といったシナリオを念頭に、今回は「S3上のCSVファイルのスキーマを読み取ってGlueに作成し、Athenaでクエリをかける」という部分を検証してみました。 Athenaが初めてだったので色々ドキュメントやブログ見たり社内で聞いたりしつつ触ってみました。 環境 node 16.14.0 typescript 4.6.3 esbuild 0.14.32 esbuild-register 3.3.2 uuid 8.3.2 csv 6.0.5 テスト用のCSVファイルを作成 50万件レコードのCSVファイルを作成します。今回は以下のNode.js (TypeScr
![S3に置いたCSVをAthena (+Glue) で検索したい | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)