タグ

pythonとdagsterに関するsyqueのブックマーク (1)

  • ゼロから始めるDagster・すぐに使える実践ガイド

    はじめに ドキュメントは、Dagsterのシステムコンセプトについて基的な内容を要約・再整理した、Dagster導入のガイドです。 Dagsterの概念は、データオーケストレーションに特化されているところから独特のコンセプトを用いているところがあります。そのため、特に難しく重要な内容を要約し、理解の助けにするところを目指しました。また、公式ドキュメントの構成も十分に整理されていない部分もあり私なりに再構成してあります。用途に応じ目次を参照しつつ拾い読みしながらご活用いただけると幸いです。 Dagsterのシステム概要 以下は公式から引用したDagsterのシステム概要図です。Dagsterのサービス(Long-runnning services) とサービスから生成される Job(Ephemeral Process) の関係を示します。 図にはk8s(Kubernetes)とありますが

    ゼロから始めるDagster・すぐに使える実践ガイド
  • 1