sqlmeshはdbtの競合になり得るか
はじめに 群雄割拠のModern Data Stackの中でも、データ変換 (transoform) 領域は珍しく一強状態で、dbtがトップの地位を固めつつあります。 日本で次に知名度があるのがdataformですが、BigQuery専用のプロダクトとなりアップデートのペースも緩やかなため、競合としては機能していません。 では、dbtの競合は他にないのかというと、まだsqlmeshというプロダクトが存在します。 Github star historyを見ても、すでにdataformは追い抜いていて、順調に数字を伸ばしています。 開発元は2022年に設立されたTobiko Dataというアメリカのスタートアップで、ロゴを見る限り日本語の「とびこ」に由来しているようです。Founderは日本人ではないようですが、アメリカにも日本食レストランはいっぱいありますから馴染みがあるのかもしれません。
dlt でロードしたデータを SQLMesh で扱ってみる - Qiita
表題の作業を実際に行ってみました。問題点や、その一部の解消方法をメモしました。 はじめに SQLMesh とは SQLMeshは「dbt に代わるデータ変換ツール」として注目されています。 Tobiko Data社を中心にOSSとして開発されているほか、Tobiko Cloudとしてマネージドサービスも提供しています。 SQLMeshの主な特徴は以下の通りです。 参考： Tobiko - dbt tag virtual data environments 開発環境、検証環境などを view の切り替えを使って、実体データの複製を最小限に止める仕組みです。 （Copy-On-Writeに似た、「変更が生じたテーブルのみ新しく作成し、その他は既存のテーブルを参照させる方法」をとっているようです） 開発環境で動作確認したものを本番環境に適用する場合や、切り戻しをする場合も、view の参照先を切
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
