BigQueryのパーティショニングとシャーディングを改めて整理する | ABC DX Tech Blogテーブル分割の必要性 みなさんBigQuery使っていますか？？私は使っています！！ データエンジニアのような職種の方なら一度は触ったことがあるであろう、Google Cloudで提供されているBigQueryですが、よく意味を間違って使われていたりする言葉や、実施すればパフォーマンスが上がるのに実施されていない処理があるように見受けられます。 今回タイトルにもなっている パーティショニングとシャーディング はまさにそれに該当する用語で、インターネットを回遊しているとシャーディングのことをパーティショニングと呼んでいるような記事も散見されます。 とはいえ私自身も認識を間違っていたらまずいので、今回、改めて調べ直して纏め直します。 いずれもBigQueryで特にログ系のテーブルのような大きなテーブルを扱う場合には必須の内容かと思います。 パーティショニングとシャーディングについては、Goog
