ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン(BigQuery, Redshift, TreasureData, EMRなど)上で行うことも普通になってきた。 このときにSQLで冪等にワークフローを組むことを考えると、中間テーブルをReplaceしつつ色んな処理をするのが手っ取り早いので、 テンポラリの中間テーブルが数十といった単位で作られる様になってきた。 また、データ分析も1サービスの分析だけでなく、複数のサービスを横断して分析する必要が出ており、またその時のログを集めるにも多種多様なSaaSを利用して、収集するのが一般的になってきた。 イメージ図(SAP Hanaの資料だけれども。) Ref. https://blogs.sap.com/wp-conte
![ELT時代のワークフローにはData Lineage Trackerが重要になりそう | Secret Ninja Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/a443d5b046f03aaff28a80f195ae636a02d0c781/height=288;version=1;width=512/http%3A%2F%2Fpostachio-images.s3.amazonaws.com%2Fe3c622c2-b854-4dd7-a6ca-1ba463b40b29%2Fcf6ffc7f-d5af-4355-9252-4dbb41c5c09d%2F5abe0790-b4a5-4650-93e3-be46bde14fa1.png)