Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita

HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 執筆時点で最新版であった、Hive4 (Hive 2023.1)と、Presto 350を想定しています。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに

[yassan0627]

これは良記事。知らない使い方が色々あって参考になった。

[tgk]

HiveのCTEが「都度作られる」という話、いまも有効だろうか?

[nilab]

正規表現を用いた関数「HiveではRLIKEを用いますが、Prestoではregexp_likeを使います」「SELECT 'abc' RLIKE '^[a-z]{3}$'」「SELECT regexp_like('abc', '^[a-z]{3}$')」「Prestoではcol LIKE '%abc%'はregexp_like(col, 'abc')に内部的に書き換えられています」

[masaya-chonan]

いいまとめ。

[chezou]

“TD_LAST()”はprestoだと"max_by()"なのか

[wlbhiro]

INTにキャストする等。

[taroleo]

Hive - Presto クエリ書き換え便利帳 #prestostudy

[yoshi-ken]

文字列切り出し・日付の期間計算・型計算の記述を追加 #treasuredata