データオーケストレーションツールDagsterの紹介

データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および

[misshiki]

“現在データオーケストレーションに利用されているツールとして未だ主流のAirflow、その後継と目されるPrefect、そして今回中心となるDagsterの三つを比較”

[hiro_dodge]

“特徴です。 Prefectはタスクスケジューラの進化型というイメージで、自らをタスクオーケストレーション”

[ryoma_robo]

Airflowはいろいろ辛くなってきたので、後で調べてみよう

[tmatsuu]

Airflow、Prefect、Dagster。ほほう