Top N 件をとる効率的なHive / Prestoクエリ - Qiita遅いクエリを眺めてたら、Prestoでrow_numberを使ってナンバリングをした後に、rank<=10といったことをしているクエリが多々あった。 例えばPrestoだと、row_numberは全レコードを保持して処理するので、件数が多ければ多いほど遅いし、メモリ消費量もあれなことになる。例えば数億件でrow_numberをすると2~300GBピーク時に使ってそうだ。 https://github.com/prestodb/presto/issues/5298 なので、効率的なPrestoとHive0.13のクエリを書いておく。
