BigQuery で ROW_NUMBER(), RANK() を使うな！

どういうことか たとえば created_at が最も新しいレコード 1 件だけ取ってきたいとか、成績のよいレコード上位 5 件を取ってきたいといったとき、よくある方法として RANK() や ROW_NUMBER() のような番号付け関数を使う方法が思い浮かぶと思いますが、BigQuery ではこれらの関数ではなく ARRAY_AGG() 集計分析関数を使うことが推奨されています。 先に結論を ARRAY_AGG() を使うことでクエリの計算を最適化でき、スロット使用量（計算量）が少なく済みます。スロット使用量の上限を定めている場合、非効率なクエリがいくつも実行されるとキューイングされる可能性があるため理由がなければ ARRAY_AGG() を使いましょう。 ドキュメントによれば ORDER BY 句が各 GROUP BY 句のトップレコードを除くすべてを捨てることができるため効率がいい

[efcl]

ソートして先頭を1件だけとる場合は`ARRAY_AGG()`を使った方が効率的という話

[koyancya]

今日でQUALIFYとお別れします！

[akatakun]

group byした上でarray_agg x order by x limitを使ったほうが、row_numberより早い段階でレコードを切り捨てられるため、効率的

[masutaka26]

RANK() はよく使われているイメージ。チリツモで遅くなるのだろうね

[sh19910711]

"たとえば created_at が最も新しいレコード 1 件だけ取ってきたい / よくある方法: ROW_NUMBER() / BigQuery ではこれらの関数ではなく ARRAY_AGG() 集計分析関数を使うことが推奨 / 早い段階でトップレコード以外を切り捨て"