BigQueryで全テーブルのメタ情報を一括で取得する方法この記事は GMOアドマーケティング Advent Calendar 2019 25日目の記事です。 こんにちは、GMOアドマーケティングのmizkichです。 アドテクなマイクロサービスをGCPのKubernetesで運用しています。 最近、私が扱っているBigQueryのテーブル数が1万を超えてしまいました。 これらのテーブルから、レコード変更があったテーブルだけを抽出する業務があります。 公式に書かれたテーブル最終更新日の取得方法だと、1テーブルあたり2秒ほど掛かります。1万テーブルだと約6時間です。 この取得方法を変更することで、全テーブルの最終更新日を1秒未満で完了できるようになりました。 本記事では、テーブルのメタ情報を取得するための、三つの方法を紹介させて頂きます。 1. bqコマンドでの取得 bqコマンドにはテーブル情報を知る方法が二つあります。 bq lsでは、全テーブル
