この記事は BrainPad Advent Calendar2021 18日目の記事となります。 プロダクトビジネス本部、開発部の吉田です。 データ処理パイプラインとしてよく名前が挙がるワークフローエンジンを紹介します。 近年、ワークフローエンジンの利用は 業務システムではバッチの依存関係の解消のため MLops と呼ばれる分野でデータ処理、モデル更新に 様々なシーンで活躍しており、広がっている印象です。 ここでは、ワークフローエンジンの紹介を行っていきたいと思います。 データ処理パイプライン|ワークフローエンジン 本稿では、ワークフローエンジンの紹介を行いますが、一番良いのは利用シーンから様々なワークフローエンジンの良し悪しを出していくことが望ましいと思います。 近年、ワークフローエンジンも多く増えてきており、開発のしやすさ、コードの書きやすさ、利便性(ワークフロー内部にサブセットのワー
![2021年版ワークフローエンジンの紹介 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b5136f144f52b1b366f72edd4f543d59c79d45dd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9MjAyMSVFNSVCOSVCNCVFNyU4OSU4OCVFMyU4MyVBRiVFMyU4MyVCQyVFMyU4MiVBRiVFMyU4MyU5NSVFMyU4MyVBRCVFMyU4MyVCQyVFMyU4MiVBOCVFMyU4MyVCMyVFMyU4MiVCOCVFMyU4MyVCMyVFMyU4MSVBRSVFNyVCNCVCOSVFNCVCQiU4QiZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmIxNmJmOTMyNmY0NWI1NDBkNWVkNjNiNzQ1YTdkMzk%26mark-x%3D142%26mark-y%3D100%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB1c2hpXzE5OCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NzE1Mjk0N2UxZDdjNDA5NDNhZmU3ZTI3MTczMTI1ODM%26blend-x%3D142%26blend-y%3D504%26blend-mode%3Dnormal%26s%3D8009c39b0214036ee8cc1e1f88eebec3)