エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
BigQueryのパーティション分割テーブルのパーティション毎のデータ量を求める - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
BigQueryのパーティション分割テーブルのパーティション毎のデータ量を求める - Qiita
BigQueryはパーティション分割テーブルを使うことで、パフォーマンスやコストを最適化することができま... BigQueryはパーティション分割テーブルを使うことで、パフォーマンスやコストを最適化することができます。 しかし、公式のドキュメントには分割された各パーティション毎のデータサイズを求める方法が書かれていません。 __PARTITIONS_SUMMARY__ メタテーブルを使うことで、パーティションの一覧やそれらの作成・更新時刻を確認することはできますが、このテーブルにサイズの情報はありません。 では、どうやってパーティション毎のサイズを確認できるのでしょうか? 解決策 各パーティションに対して、パーティション内をフルスキャンするクエリをdry runし、推定スキャン量のデータを使う。 partitions = [ '2020-01-01', '2020-01-02', '2020-01-03', ] partitions.each do |partition| sql = "SELEC