Netflix Conductor
In December 2016, we open sourced Netflix Conductor. We have been working hard since then to add more features, enhance the user interface for monitoring the workflows, and harden the system. We have seen an increase in usage, new use cases, feature requests, and lot of interest from the community. In this post, we will talk about a couple of major features we added to Conductor this quarter. IoC
Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag | DevelopersIO
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln — Sadayuki Furuhashi (@frsyuki) 2016年6月15日 という訳で試してみました。注目度の高かったワークフローエンジン『Digdag』がついにOSS化されました！Githubリポジトリ及びドキュメントは以下となります。 treasure-data/digdag: Workload Automation System Getting started — Digdag 0.8 documentation 目次 インストール 環境の準備 Digdagのインストール実施 その他ドキュメントの内容について Digdagサンプルワークフロ
Meson: Workflow Orchestration for Netflix Recommendations
At Netflix, our goal is to predict what you want to watch before you watch it. To do this, we run a large number of machine learning (ML) workflows every day. In order to support the creation of these workflows and make efficient use of resources, we created Meson. Meson is a general purpose workflow orchestration and scheduling framework that we built to manage ML pipelines that execute workloads
Workflow Hacks #1 - dots. Tokyo
Taro Saito gave a presentation on workflow tools and techniques. He discussed common workflow features like dependency management, scheduling, and error handling. Popular open-source workflow tools mentioned included Airflow, Luigi, Oozie, and Azkaban. Saito also covered dataflow engines that can translate processing programs into cluster computing programs using Spark, Flink, and other tools. He
第9回［最終回］ データパイプラインのためのワークフロー管理 | gihyo.jp
基本KPIや応用KPIが決まり、実際に、毎日の運用の中で定期的にデータを更新して、可視化するためには、一連の処理を自動化する必要があります。今回は、データパイプラインを扱うためのワークフロー管理ツールを紹介していきます。 データパイプラインとワークフロー管理 データパイプライン （以下、パイプライン）とは、データ処理を行なう小さなタスク（1回のファイルコピーや、SQLの実行など）を順次実行することにより、最終的に求める結果を得るための一連のプロセスを指します。狭義には、単体のシステム内で完結するパイプラインを指します（SparkやGoogle Cloud Dataflow、など）。 また、広義には、複数のシステムを組み合わせて大きなパイプラインを構成することもあります（MySQLから取り出したデータをRedshiftで集計する、など）。今回、取り上げるパイプラインとは、広義のパイ
Luigi によるワークフロー管理 - Qiita
Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 （追記: 2016-09-18）その後、社内ワークフローは Digdag（主にSQLのクエリ実行に利用）、及び Airflow（主にスクリプトの実行に利用）へと置き換わり、Luigi を利用することはほぼなくなりました。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で必要となる一連のタスク(データのロードや、クエリの実行など)を自動化し、管理するために設計されたソフトウェアです。例えば、毎日決まったタスクをスケジュール実行したり、問題が起きた
Airflow - データパイプラインのスケジュールと監視をプログラムしてみた - Qiita
Airflowを導入するとcronのバッチ処理でエラーが起きてログファイルを漁った結果、Log出力が甘くて原因特定できないぐぬぬぬぬもうやだまじつらい、みたいなことが仕組みで防げるようになります。 Airflowってご存知でしょうか？ Airbnb社がオープンソースで公開しているデータパイプラインのスケジュールとモニタリングツールです。簡単に言うとジョブツリーを構築できる高機能なcron。Python2系で開発されていてpip install可能なオープンソースのソフトウェアです。AWSが年1で開催している大規模イベントre:Invent 2015で複数の会社がAirflowを利用していると発表し注目を集めました。Yahooの発表を読んで興味を持ちました。この記事はAirflowをプロジェクトに導入すべきか検討、検証したメモです。 ■ プロジェクトの解析タスクをAirflowに乗せてみた
Rebuild: 19: Accents, Git Workflow, Logging (sekimura)
Masayoshi Sekimura さんをゲストに迎えて、エンジニアの英語、Github Enterprise, Phabricator, Kibana などについて話しました。 Show Notes Android KitKat KitKat mocks Apple with Android 4.4 Parody Video Have a break. #KitKat Slow OEM step aside: Google is defragging Android Founder's Accents 創業者の訛り Why knowing English is important for every software developer English has been my pain for 15 years 英語は私にとって15年にわたって悩みの種です Phabricator Pi
オープンソースのワークフローエンジン「Activiti」入門 - Tech-Sketch
私達がお客様向けに構築するバックオフィスシステムにおいて、ワークフロー機能を求められる機会が増えています。 この様な要求に対応するために、オープンソースのワークフロー・エンジンを導入することを検討しました。 数あるワークフロー・エンジンの中から「Activiti」を選択し、TISのアプリケーション開発基盤『Xenlon～神龍』（※）にワークフロー機能を装備しました。 本連載では、この「Activiti」について、概要説明・動作環境準備・実践という順序でご紹介いたします。 ※ アプリケーション開発基盤『Xenlon～神龍』 オープンソースのワークフローエンジン「Activiti」とは 「Activiti」は、Apache2.0ライセンスのもとで配布されているオープンソースの"ワークフロー・エンジン"です。 BPMN2.0という規格に準拠していることから、"BPMN2.0エンジン"とも呼
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
