S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記

AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った

[kzm1760]

おー良さそう。まさに探索的にクエリを実行したいことの方が多く、Athenaの課金形態だと抵抗があったのでありがたい。やってみよ。

[efcl]

S3のログをDuckDBのaws拡張で分析

[tmatsuu]

わいわい。duckdbでS3から取得するログの指定にワイルドカードが使える（ListBucketを使う）ので2024年11月の全ログ取得などもduckdbだけでできてメチャ便利。

[wittro]

少量のログならこれも良さそう

[moromoro]

後で試す

[dorapon2000]

“DuckDBのインストールは公式 あたりを参照。S3のファイルをクエリする準備としてはAWS Extension – DuckDBやS3 API Support – DuckDBを参照。”

[nabinno]

いまいち良さが分からなかった。SQLクライアントの話ならDataGripなどを使えば良くないか?

[clubman023]

なるほど

[fn7]

DuckDB便利。ローカルからS3見れるし。