BigQueryの連携クエリ導入時にハマった制約と回避策 - エムスリーテックブログ

エムスリーエンジニアリンググループの遠藤 (@en_ken) です。 エムスリーではクラウドプロバイダとしてAWSが主要に利用されていますが、 分析基盤はGoogle CloudのBigQueryを利用しており、各チームが分析に必要なデータを集約しています。 歴史的な経緯もあり、各チームのデータ (国外に置いても問題ないもの) は米国のリージョンのデータセットに配置しています。 連携クエリを利用しようとした際、この環境にまつわる問題に引っかかったので紹介します。 連携クエリ (Federated queries) 連携クエリとはなんぞやを簡単に紹介すると、BigQueryの外部にあるDBのデータをBigQuery上のデータであるかのように扱える機能です。ドキュメントはこちら。つまり、アプリケーションのDB上にあるデータをBigQueryに同期しなくともJOINできる (！) ということです