Amazon Athenaのクエリ結果をLambdaを使って自動でgzip圧縮する - Qiita
これはマイネット Advent Calendar 2016 21日目の記事です。 対象読者 以下のいずれかに当てはまる人 Amazon Athenaを利用している。 AWS Lambdaを試してみたい。 やりたいこと Athenaのクエリ結果はCSVでS3に保存される。 クエリによる集計済みのデータとは言え、生のCSVだと数百MB～数GBになることもある。 gzip圧縮することで、ダウンロード時の帯域と転送料金を節約したい。 手順 AWSコンソールからLambdaの新規作成を選択したところから、画面キャプチャ付きで解説 Lambda Functionのテンプレートを選択 トリガーの設定 S3を選択し、CSVファイルの作成時にLambdaが起動するように設定する。 Lambda Functionの設定 Lambda Functionの設定画面になるので、適切に設定する。 gzip圧縮するタス
Amazon Athenaのパーティションを理解する #reinvent | DevelopersIO
コンニチハ、千葉です。Amazon Athenaを利用する上で重要になってくるパーティションについて書きたいと思います。 パーティションの重要性 Athenaでパーティションを指定することで、各クエリで特定の領域に対するスキャンを実行できるようになります。例えば、S3上のデータがs3://applog/YYYY/MM/DD/HHのような形でS3へ保存するとします。 パーティションを指定することで、検索時に特定の日付配下のデータだけスキャンすることができるので、パフォーマンスが向上します。また、スキャンするデータ量も減るため、コストも削減できます。 パーティションを設定する パーティションを設定するには、テーブル作成時にPARTITIONED BYを指定して分割するキーを指定します。パーティションを追加する場合、以下の2つのシナリオがあります。 S3上に格納されているデータが既にHiveフォ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to use aws athena using nodejs?
