現場で運用する視点から見た Amazon Athena - Qiita

個人的なプロジェクトも含め、いくつかの現場で Amazon Athena について触れる機会があったので、個人的に思うところについて記載します。 数時間で書いた雑な文章ですが、ご了承ください。 なお、先日リリースされた Amazon Athena API については以下の Qiita に first impression をまとめているので、 API 以外の話題について書きます。 Amazon Athena の API を使ってみた (2017/05) データの設計について Amazon Athena は managed な Presto 環境で、 事前に Presto サーバーの立ち上げなどリソース確保を行わなくても良い データについても、S3 にファイルをアップさえすれば、後付でいかようにでもデータの解析が出来る という手軽さを売りにされています。 これは利点としていっさい間違いではな

[T-miura]

Redash、Amazon Athenaに対応したのか。が、bqでよくね？というのが今の感想。 ORC、Parquet がもうちょい、楽に扱えれば、、、という気がするが。

[masutaka26]

Redash (v2.0.0) から MSCK REPAIR TABLE db_name.table_name するとパースエラーになるのだけど、そういうものだろうか...。

[tagomoris]

直近データと過去データの違いで参照先を切り替えることをLambda architectureとは言いません / とはいえよくまとまってるな

[toyama0919]

Fluentd使ったリアルタイムなとこから、ORCやParquet使ったETLまでよくまとまってる

[peacemakerz]

よくまとまってる

[tmatsuu]

とても良い。素晴らしい

[kma83]

“moaikids”

[braitom]

AWSのAthenaを実際に使う上でのTipsなどがまとめられている。S3ディレクトリの設計方法、データのフォーマットをどうするか、クエリ結果をどう扱うかなど実践的な視点で書かれている。

[tkmoteki]

よくまとまってる 現場で運用する視点から見た Amazon Athena via @nuzzel

[tofu-kun]

API公開されてたのか