BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場
BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。 オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。 To stay compet
Datastream for BigQuery でプライベートなCloudSQLをニア・リアルタイムに分析する - Assured Tech Blog
こんにちは！エンジニアのオリバーです。最近、個人で翻訳するときに ChatGPT に英訳、和訳させてみることが多くなってきたこの頃です。 久々に少し長めの技術記事を書かせていただきました。最近のトレンドである（と思っている）多様なデータを素早く安全に Google Cloud Platform (GCP) 上で活用するための記事になっています。記事後半には Terraform のサンプルと一緒に構成の説明がありますので興味ある方は最後まで読んでいただければと思います。 直近、GCP の BigQuery にアプリケーションのデータをニア・リアルタイムで同期できる Change Data Capture (CDC)のマネージドサービス、Datastream for BigQuery を利用する機会がありました。今回使用したデータソースは外部からのアクセスを許可していない構成だったのですが、こ
オープンロジという物流テック企業でエンジニアをやっている阿部です。オープンロジではデータ基盤の整備を進めており、その第一弾として Datastream for BigQuery を本番導入しようとしています。導入の経緯や、これまでに調査して分かったコトなどを書いていきたいと思います。 トリッキーな挙動になることもありますが、総じて非常に優れたマネージドサービスです。RDB と BigQuery を同期する仕組みとしては、かなり優秀です。まだ、本格的な稼働はしていませんが、いずれオープンロジのデータ基盤の中核を担うシステムになると思っています。 Datastream for BigQuery とは？ MySQL, PostgreSQL などのリレーショナルデータベース (RDB) から BigQuery に準リアルタイムでデータを同期する Google Cloud のサービスです。RDB が
Datastream for BigQuery を使って、簡単かつニアリアルタイムで AlloyDB から BigQuery にデータを同期してみた【Terraform】 - Qiita
Datastream for BigQuery を使って、簡単かつニアリアルタイムで AlloyDB から BigQuery にデータを同期してみた【Terraform】データ分析BigQueryTerraformGoogleCloudAlloyDB まえがき サンプルコードを GitHub にアップロードしています。 記事中では一部 Terraform コードを省略していますので、詳細を知りたい方はコードをご覧ください。 対象読者 Datastream for BigQuery って何？という人 Datastream を実務に導入するか悩んでいる人 Datastream を Terraform で実装したい人 Datastream for BigQuery とは DB のデータを、BigQuery にストリーミング転送するサービスです。 2023/4/4 に GA(Generally A
Terraform と Datastream を使ってみる: Postgres データを BigQuery に複製する | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 2 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。 ある組織が、さまざまなデータベースやアプリケーションに保存されたデータを大量に蓄積しているとします。データ ストレージが複雑なため、分析レポートの作成に長い時間がかかります。そこでチームは、レポートの作成を効率化するために、すべてのデータを BigQuery に複製することに決めました。従来、これは完了までに長い時間がかかるであろう大規模で複雑、かつ費用のかかるプロジェクトでした。 それぞれのデータソースのレプリケーションを苦労して設定する代わりに、チームは Datastream と Terraform を使用できるようになりました。データソースのリストをコンパイルし、組織の設定に従っていくつかの構成ファイルを作成すれば完了です。レプリケーションが開始され、データは数分
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Datastream for BigQuery を本番導入しようとしている話