Athenaを使ったデータ処理基盤の設計 - Speee DEVELOPER BLOG

こんにちは。UZOUのプロダクト開発をしているエンジニアの@kanga333です。 UZOUでは広告データの集計の一部にAmazon Athenaを採用しています。 この記事ではUZOUにおけるAthenaを使ったデータ処理基盤の設計について紹介したいと思います。 全体構成 データ処理基盤の全体構成は次のようになっています。 以後はそれぞれのコンポーネントについて順次紹介していきます。 FleuntdによるS3への集約 UZOUでは特にFluentdアグリゲータのような中継サーバは設けていません。広告配信サーバに常駐するFluentdがログを直接S3にプットしています。 以下はFluentdのS3 output部分の設定の一部抜粋です。 <buffer time> @type file timekey 60m </buffer> path example_table/dt=%Y%m%d/h

[kangaat]

書きました

[sh19910711]

削除もAthenaで完結できるようになったらいいのにな / "S3のDeleteObjectで書き込み先のパーティションパスにあるファイルをすべて削除する / Kinesis Data Firehose => パーティショニングが厳しくて見送り"