dbt周辺ツールを使った「圧倒的に楽」なメタデータ管理 - Classi開発者ブログ

こんにちは、データプラットフォームチームの鳥山（@to_lz1）です。 本記事はdbt Advent Calendar 2024の10日目の記事です。 データ基盤を扱う上で避けて通れない「メタデータの管理」ですが、あなたのチームではどのように取り組まれているでしょうか？独自メタデータカタログを作ったけど、運用がつらくなっているとか、はたまた構築初期なのであえてdescriptionなしのまま突き進んでいるなど、データ基盤整備のフェーズによっても各社さまざまかと思います。 弊社も例に漏れず上記のようなフェーズを通過してきましたが、最近ではdbtやその周辺ツールを使った効率化がうまく回り始めてきました。本記事ではその仕組みをどのように構築したのかをご紹介します。 そもそもメタデータとは？ 旧来の仕組み 新しい仕組み dbt-osmosisの導入 dbt-source-importerの導入とC