Functions & DAGs: introducing Hamilton, a microframework for dataframe generation | Stitch Fix Technology – Multithreaded
dbtとDataformを比較し、dbtを使うことにした - Attsun blog
TL;DRdbt, Dataformについて簡単に紹介dbtDataform比較対応するプラットフォーム主要な機能外部ツールとの接続性運用時のあれこれ両者のPros/Consまとめ私たちの選択どちらを使うべきなのか？選ばれたのは、dbtでしたまとめ最近、業務でDWH / Datamartの整備やデータ品質の担保を効率的に行いたくなる事情があり、調査したところdbtとDataformがツールとして有力そうだったので、比較してみました。 TL;DRdbtは機能が充実しており、カスタマイズするポイントも多く様々な要件に対応できそうです。反面、理解し使いこなすための学習コストがかかります。DataformはWebビューによる開発体験が非常に良いです。機能もほとんどはわかりやすく、迷うことも少ないです。一方、dbtに比較して融通はききづらいです。どちらも十分な機能は備えている素晴らしいツールだと感じ
Home
Get More Done with KubernetesOpen source tools for Kubernetes to run workflows, manage clusters, and do GitOps right.
Home
Common Workflow Language (CWL) is an open standard for describing how to run command line tools and connect them to create workflows. Tools and workflows described using CWL are portable across a variety of platforms that support the CWL standards. Using CWL, it is easy to scale complex data analysis and machine learning workflows from a single developer's laptop up to massively parallel cluster,
Silk - The Linked Data Integration Framework
Robert Isele (eccenca GmbH) Anja Jentzsch (Hasso Plattner Institut) Christian Bizer (University of Mannheim) Julius Volz (Google) Petar Petrovski (University of Mannheim) Silk is an open source framework for integrating heterogeneous data sources. The primary uses cases of Silk include: Generating links between related data items within different Linked Data sources. Linked Data publishers can use
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Guix Workflow Language | Guix Workflow Language
Workflows | Google Cloud
Taming Data Quality with Circuit Breakers
Build Maintainable And Testable Data Applications With Dagster
jobscheduler-ja
Introducing Overseer - data pipeline management in Clojure (Pt. 1) | Andrew Berls
Introducing Briefly : A Python DSL to Scale Complex Mapreduce Pipelines | BloomReach Engineering Blog
GitHub - bloomreach/briefly: Briefly - A Python Meta-programming Library for Job Flow Control
https://www.jenkins.io/doc/pipeline/
AI Data Analytics Platform | Alteryx
GitHub - coursera/dataduct: DataPipeline for humans.