簡易的にデータリネージを試してみる - astamuse Lab

はじめまして。データチームのKimy(@yuu_kimy)です。 日々、各種データの整備に関わる開発を行っています。 早いもので、アスタミューゼにジョインしてから、1年が過ぎました。 ジョインしてから、グラント(研究助成)や特許データの整備開発、各種案件対応を行ってきましたが、最近では、特許の概念や用語の勉強の日々です。 だいぶ慣れてきたかなと感じていますが、やっぱり、難しいですね.. さて、案件対応では、蓄積されたデータを活用して、各種データの加工・集計等を行っていますが、様々なデータを利用することで、データのインプット・アウトプットの流れが分かり辛くなってくることがあります。 利用するテーブルが数個であれば、そのデータを処理するソースコードを見れば、パッと流れが掴めますが、数多くのテーブルを利用して、集計して、集計した結果を別に処理をした結果とジョインして、更に、フィルターをかけて..

[sh19910711]

"Pythonのモジュールに sqllineage なるツール / SQLを解析してソーステーブルやターゲットテーブルの情報を教えてくれる / 裏側ではsqlparseというSQLパーサが利用 / カラムレベルまで踏み込んだデータリネージではない"