[B! athena] pandazxのブックマーク

AWS Athena の詳細を調べてみた。 - Qiita

ついにAthenaが東京リージョンでGAになりましたね！参考：【祝】Amazon Athena が東京リージョンにやってきましたこれを気に本格的な利用を検討するにあたって、「そもそも何者か」「何ができるのか！」を棚卸ししたいと思います。 Athena　ってなに？公式では、参考：https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-seminar-2017-amazon-athena つまり、ETLとかいらずに直接ストレージ(S3)上のデータにSQLを投げて分析できるよ！ということ。いつから？ 2016年のre:Inventにおいてキーノートで発表されました。が、この時点ではまだ東京に来ていなかった...(　バージニア、オレゴンのみ。のちにオハイオも追加) 何がすごいの？サーバーレス高速

pandazx 2018/07/24

athena

リンク

AWS請求レポートをPyArrowでParquet+Snappyに変換する - /var/log/laughingman7743.log

AWSコストの可視化として、請求レポート*1をAthena*2でクエリを投げられる形式に変換して、Redash*3でダッシュボードを作成していたりします。元データがCSV+ZIPと非常に扱いにくい形式なのでCSV+GZIPに変換していたのですが、カラムナー形式に変換すると良さそうだなと思い、PyArrow*4を使ってParquet*5+Snappy*6に変換してみました。以下のスクリプトはS3に出力されている請求レポートをダウンロードしてきて、Parquet+Snappyに変換、Athenaで扱いやすいパス(Hiveのパーティショニング形式)にアップロードするようなPython3のスクリプトの例です。少し形は違いますが、同じようなことをAirflow*7を使って毎日ぶん回しています。月初にはパーティションを追加、4〜5日目ぐらいまでは前月のデータも更新されるので当月分と合わせて変換す