BigQueryのAPPROX_COUNT_DISTINCTの誤差・コストを実測する - 無駄と文化

BigQuery には 近似集計関数 (Approximate aggregate functions) と呼ばれる集計関数があります。「厳密な結果を返す保証はないものの、メモリ使用量・集計時間が現実的な範囲に収まるように近似集計を実行してくれる関数」とのことです。 関数名 概要 APPROX_COUNT_DISTINCT(expr) 重複無しカウント COUNT(DISTINCT expr) の近似値 APPROX_QUANTILES(expr, num) 分位数の近似値 APPROX_TOP_COUNT(expr, num) 出現数ランキング上位N位までの近似値 APPROX_TOP_SUM(expr, weight, num) ランキング(重み指定あり)の上位N位までの近似値 公式ドキュメント: https://docs.cloud.google.com/bigquery/docs/