prestodbにおけるelapsed timeとは何か - reizist's blog
prestodbを扱っていてクエリメトリクスを見る上で必ず参照することになるelapsed timeが一体何なのかを調べたメモ。 一言でいうとクエリが作成されてからクエリが完了するまでの時間なんだけど、じゃあそれがいつなのかというのをソースを追う。 全体の流れを追うのに、 https://www.slideshare.net/frsyuki/hadoop-source-code-reading-15-in-japan-presto presto_executor_and_coordinator.md · GitHub あたりが非常に参考になるので足がかりにするとよい。 実際に createTime , endTime を作成しているのは QueryStateMachine 内で、 createTime : QueryStateMachine インスタンス作成時 https://github
Presto Infrastructure at Lyft
OverviewEarly in 2017 we started exploring Presto for OLAP use cases and we realized the potential of this amazing query engine. It started as an adhoc querying tool for data engineers and analysts to run SQL in a faster way to prototype their queries, when compared to Apache Hive. A lot of internal dashboards were powered by AWS-Redshift back then and it had data storage and compute coupled toget
Presto における Service Discovery の動作原理
Presto を運用していると “No worker nodes available” というエラーに遭遇することがあります。これは coordinator が planning をする際に active な worker nodes が存在しないと起きるエラーなんですが、worker nodes に問題ではなく service discovery が上手く機能していなくて起きることがあります。 worker nodes が異常なのか service discovery が上手く機能していないのかを切り分けるには、Presto がどのように service discovery を実現しているかを理解している必要がありますが、よくわかってなかったので調べてみました。 環境は Amazon Elastic MapReduce (EMR) ではじめる Presto 入門と同じく、Presto 0
What is Presto, Facebook Presto Database, PrestoSQL or PrestoDB? A powerful SQL query engine
If you have heard of Amazon Athena interactive query service, then you are familiar with Presto. PrestoDB is the open-source SQL query engine that powers the AWS Athena service, making data lakes easy to analyze with columnar formats like Apache Parquet. While Athena is one of the more visible commercial offerings, it certainly is not the only path for those interested in the software. Facebook Pr
Amazon Elastic MapReduce (EMR) ではじめる Presto/Trino 入門
Presto/Trino 1は日本語の入門書がなく、「Presto/Trino を運用することになったけど何から勉強すれば良いかわからない＞＜」という人も多いのではないかと思います。そこで、Presto/Trino を運用する時にこの辺の内容を知っていれば、よりスムーズにキャッチアップできたかなぁと思うことをまとめてみました。 Hive connector を使いたいので、Hive と Presto の環境構築をサクッと行える Amazon Elastic MapReduce (以降 EMR) で実際に手を動かせればと思います。 以降 Presto/Trino ではなく Presto と表記しますが、Trino は元々同じソフトウェアであるため、Trino でも当てはまる内容がほとんどのはずです。 なお、Presto のバージョンは 2019-03-13 時点で最新の EMR 5.21.0
Prestoでの日付の扱い方 - ★データ解析備忘録★
Prestoで日付の処理に躓いたのでメモ。 TreasureData (TD)ってUDF(user defined functions)が多いから、HiveにしろPrestoにしろ結構躓いたりするんですよね。 公式のマニュアルページが手放せません。 docs.treasuredata.com 今回はこのなかで初心者やSQLユーザーが間違いやすい部分と、これを組み合わせた日付の処理をいくつか書きます。 WHERE句での日付の範囲指定 SQLを使ったことがある人が最初に「あれ？」って思うのはここだと思います。 たとえば'2016-01-01 00:00:00'から'2016-01-03 23:59:59'までのデータを取りたいとき、 SQLだと、 WHERE time >= '2016-01-01' AND time < '2016-01-03' と書けばよいのですが、Prestoだと WHE
Hive (SQL-style) Query Language | Treasure Data
{"serverDuration": 35, "requestCorrelationId": "b45a8231fbaabbfb"}
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Presto at Pinterest
Understanding Presto - Presto meetup @ Tokyo #1
Presto 0.288 Documentation