ちょっと使ってみて幸せになれたAmazon Athena - Qiita

これはマイネット Advent Calendar 2016 24日目の記事です。 対象読者 以下、当てはまる人 DBからはどうしても集計できない。ログから頑張れば集計できるけど、時間かかって辛い。 Amazon S3を利用している Hiveをちょっとでも使ったことがある人 以前、@nohamaさんが投稿された記事と少々かぶってしまいましたが、 どうしてもこれやりたかったので、どうかご勘弁ください。m_m やりたいこと ログを分散処理で集計して、集計時間を短縮したい。 手順 準備するもの 今回集計対象とするのは私のプロジェクトで使ってるゲームの物理ログ。ログフォーマットは以下のようなもの (実データはお見せできないので、中身はテキトーにしています。) 2016-09-09T00:00:02+09:00 analytics {"dt":"add_item","d":20160909,"h":a