時系列データ分析で役立つBigQuery Materialized View スニペット集 - Qiita

はじめに 本記事はBigQuery Advent Calendar 2021の18日目の記事です。 IoTやWebアプリのログ分析など、時系列データのETL処理周りで役立つスニペットを集めたものを記載しています。 時系列データ分析で手を焼いている方の一助になれば幸いです。 BigQuery Materialized View (略:MV) 時系列データは単一の時系列であればそこまで難しくはないのですが、センサーの種類や商品などの項目を持つ複数時系列のテーブルを扱う際はどうしてもデータ容量(≒スキャン量)が多くなりがちなので、比較的重ためなETL処理を行うことがしばしばあります。 しかし、ETLパイプラインのメンテナンス性やリアルタイム性を考えると、あまり乱立させたくないと思われる方は多いのではないでしょうか。 そこで役に立つのがBigQueryの機能の1つ、Materialized Vie