第9回［最終回］ データパイプラインのためのワークフロー管理 | gihyo.jp

基本KPIや応用KPIが決まり、実際に、毎日の運用の中で定期的にデータを更新して、可視化するためには、一連の処理を自動化する必要があります。今回は、データパイプラインを扱うためのワークフロー管理ツールを紹介していきます。 データパイプラインとワークフロー管理 データパイプライン （⁠以下、パイプライン）とは、データ処理を行なう小さなタスク（1回のファイルコピーや、SQLの実行など）を順次実行することにより、最終的に求める結果を得るための一連のプロセスを指します。狭義には、単体のシステム内で完結するパイプラインを指します（SparkやGoogle Cloud Dataflow、など⁠）⁠。 また、広義には、複数のシステムを組み合わせて大きなパイプラインを構成することもあります（MySQLから取り出したデータをRedshiftで集計する、など⁠）⁠。今回、取り上げるパイプラインとは、広義のパイ

[misshiki]

“データパイプライン とは，データ処理を行なう小さなタスク（1回のファイルコピーや，SQLの実行など）を順次実行することにより，最終的に求める結果を得るための一連のプロセスを指します。”

[WhatAmILookingFor]

データパイプライン （以下，パイプライン）とは，データ処理を行なう小さなタスク（1回のファイルコピーや，SQLの実行など）を順次実行することにより，最終的に求める結果を得るための一連のプロセスを指します。

[kimutansk]

プロダクト一覧は参考になります。データパイプラインを簡易にGUI定義する・・のはこの先来ないですかねぇ。

[wordi]

コマンドのパイプ処理中断時の復帰について、ツールあり

[minonet]

第9回［最終回］　データパイプラインのためのワークフロー管理 ── これなら使える！ビッグデータ分析基盤のエコシステム 基本KPIや応用KPIが決まり，実際に，毎日の運用の中で定期的にデータを更新して，可視化する

[kwms]

#DMP　#ETL

[wyukawa]

タスクの並列実行って実はあんまりイメージわかないな。その辺はhadoop任せだし。

[toyama0919]

めも