Presto Documentation — Presto 0.286 Documentation© Copyright The Presto Foundation. All rights reserved. Presto is a registered trademark of LF Projects, LLC.
Date and Time Functions and Operators — Presto 0.284 Documentation
Presto 0.284 Documentation Date and Time Functions and Operators
AWS AthenaでPartitionを作る - Qiita
BigQuery破産ならぬAthena破産 クエリでスキャンした容量毎に課金されるAthena。同じ課金方式（値段も一緒）のBigQueryでクエリの投げ方間違えて１００万円溶かしたなどの話は有名ですよね。 Athenaでも同じことが起こりうる、というのでとても怖いです。 ちょっとしたミスがとんでもないことになる。 そこまでビビらなくてもいいですが、 とはいえ、怖いのは怖いものです。 とはいえ、使わないというのもどうかと思います。 ので、BigQueryと同じく、パーティションを作ってちゃんとスキャンされる範囲を制限してクエリを実行すれば それなりに安全ということで、本家からも推奨されてます。 Athenaのパーティション EMRなどでHiveを使ってS3にごにょごにょしてたのであれば、すでにHiveフォーマットでパーティショニングできてることもあります。 が、 我々がよくAthenaで見
RedashでAmazon Athenaのクエリ結果をビジュアライズする | DevelopersIO
Amazon Athenaのクエリ結果をチーム内で共有する場合、クエリ結果を表やグラフ形式でビジュアライズできると便利です。この場合Amazon Athena自身にはビジュアライズの機能がないため、他プロダクトの力を借りる形になります。 弊社ブログでもAmazon QuickSightとTableauでAmazon Athenaのクエリ結果をビジュアライズする方法が紹介されています。 【新機能】Amazon QuickSightがAmazon Athenaをサポート！ ｜ Developers.IO Tableau 10.3新機能：Amazon Athenaへ接続 #tableau ｜ Developers.IO OSSのプロダクトという観点では、Redashも有力な選択肢になるかと思います。 今回はこのRedashでAmazon Athenaに接続しクエリ結果をビジュアライズする方法をご
Amazon Athenaのパーティション追加めんどくさい - Qiita
S3のバケットに s3://バケット名/HOGE/20170824/00_0.gz s3://バケット名/HOGE/20170824/00_1.gz みたいな感じでログを置いています。 Athenaを利用して軽く集計してみようかなーと思ったところ、パーティションを分ける必要がありました。 (分けないでも実行できるけど、よりお金かかるから分けたほうがいい） Hiveフォーマットに沿って格納されていれば簡単だけど、上記のように 20170824 だとそれぞれでAlter Tableを叩かないといけないのでめんどくさい・・・ ので、開始日と終了日を指定してわーっとAlter Table叩いてくれるShell Scriptを書きました。 #!/bin/sh STARTDATE=2016-11-01 ENDDATE=2020-10-31 CURRENTDATE=$STARTDATE while [
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
doruby.jp