Digdag タスク実践：タスクの正常系＆異常系判定について #digdag | DevelopersIO
Digdagを理解してみるシリーズ、直近3本は概要や仕組みに関する部分について書いてみましたが4本目となる当エントリは処理の正常終了・異常終了に関する部分について見て行きたいと思います。 Digdag ｜ 特集カテゴリー ｜ Developers.IO Digdagのアーキテクチャとコンセプトを理解する #digdag ｜ Developers.IO Digdagのワークフロー定義について理解する #digdag ｜ Developers.IO Digdagのスケジューリングについて理解する #digdag ｜ Developers.IO Digdagにおける処理の正常終了・異常終了の判定についての記述というか関連箇所は、下記『コンセプト』内部の1セクションに記載があります。 Dynamic task generation and _check/_error tasks --- Conce
Digdag オペレーター実践：外部スクリプトの実行 #digdag | DevelopersIO
Digdagを理解してみるシリーズ、当エントリからは『オペレータ』に関するものを幾つか見て行きたいと思います。Digdagにおける『オペレータ』とは、タスクを実行する事が出来る仕組みとなります。 Digdag ｜ 特集カテゴリー ｜ Developers.IO Operators — Digdag 0.8 documentation 実行環境について 環境については下記エントリで状況を整え、Python及びRubyの環境がある事を前提とします。 Digdagに関するインストール及び設定周りのまとめ #digdag ｜ Developers.IO $ python --version Python 3.5.2 $ ruby --version ruby 2.0.0p648 (2015-12-16) [x86_64-linux] そして下記内容より当エントリで紹介する『オペレータ』の紹介となり
Digdag オペレーター実践：メール送信(SMTP認証情報にAWS SESを利用) #digdag | DevelopersIO
Digdagを理解してみるシリーズ、当エントリでは『メール配信』についてご紹介してみたいと思います。 Digdag ｜ 特集カテゴリー ｜ Developers.IO Digdag オペレーター実践：外部スクリプトの実行 ｜ Developers.IO SMTP認証情報の取得(AWS SES) まずはAWS SESからSMTP認証情報を収集します。管理コンソールでAWS SESのメニューに遷移、ダッシュボード情報からSMTPサーバ情報を控えておきます。 上記画面から『Create My SMTP Credentials』をクリックし、認証に用いるユーザー名とパスワードを取得。この情報も併せて控えておきます。 mail>:オペレータを使ったDigdagメール配信実践 GitHubに設定のサンプルがありましたのでこれを元に設定ファイルを作成。 digdag/mail.dig at master
SNA Projects Blog : Tech Talk: Michael Deerkoski (Flickr) — “Continuous Deployment at Flickr”
Hire the best. At 10x the speed.Hire the best. At 10x the speed.Screen and interview candidates 10x faster with MOPID AI Recruiter that saves upto 80% of your time and resources. Hiring 100+ positions? Try⚡Blitzhiring⚡for a change!Hiring 100+ positions?Try ⚡Blitzhiring⚡ for a changeWe get it. Large scale hiring costs a lot. What if you could hire the perfect talent AND save up to 80% resources? We
DigdagのSecret機能を使う - Qiita
Digdagシリーズその２。 前回は「Digdag Serverのインストール手順」 DigdagにはDBの接続パスワードやWebサービスのAPI Keyなどの情報をセキュアに扱う機能としてsecretというものがある。これを使うと、パスワードなどの情報が平文でワークフロー定義ファイルに書く必要がなくなるし、ログに平文で出力されることもなくなる。 Digdag Secret機能を有効化する。 デフォルトでは無効になっている。 有効にするには、設定ファイルに digdag.secret-access-policy-file : operatorごとのsecretへのアクセスポリシーを定義したファイル digdag.secret-encryption-key: secretをDigdag ServerがDBに保存する時に暗号化するキー。128bitのAES鍵をBASE64エンコードした文字列を
Digdagのワークフロー結果をSlackに通知する - Qiita
Digdagシリーズその３。 第１回は「Digdag Serverのインストール手順」 第２回は「DigdagのSecret機能を使う」 Digdagでワークフローを書いた際にやりたくなるのが、成功・失敗の通知です。そのやり方を試行錯誤した結果をまとめます。 Digdagでのワークフロー定義 まずはおさらい。 Digdagではタスクと呼ばれる処理の単位をつなげてワークフローを定義することができます。 例えば、シェル実行、pythonスクリプト実行、Rubyスクリプト実行のタスクを順番に実行するワークフロー定義は、こんな感じで書けます。 timezone: UTC +step1: sh>: tasks/shell_sample.sh +step2: py>: tasks.MyWorkflow.step2 param1: this is param1 +step3: rb>: MyWorkfl
SNA Projects Blog : Tech Talk: Michael Deerkoski (Flickr) — “Continuous Deployment at Flickr”
LinkedIn operates the world’s largest professional network with more than 645 million members in over 200 countries and territories. This team builds distributed systems that collect, manage and analyze this digital representation of the world's economy, while our AI experts, data scientists and researchers conduct applied research that fuel LinkedIn’s data-driven products and provide insights tha
digdagのtd>のdownload_file - Qiita
MalformedInputExceptionになることがある → 0.8.19で解消済 digdag(執筆当時0.8.16くらいだったか)のtd>:にdownload_file:を指定すると、うまくいく場合と以下のエラーでうまくいかない場合がある データによるっぽい？ java.nio.charset.MalformedInputException: Input length = 1 org.msgpack.core.MessageStringCodingException: java.nio.charset.MalformedInputException: Input length = 1 at org.msgpack.value.impl.AbstractImmutableRawValue.asString(AbstractImmutableRawValue.java:72) at
Azkaban 2 scheduler by Linkedin | Loftjob
Azkaban is “a batch workflow job scheduler implemented at LinkedIn to run Hadoop jobs” as stated on its website. It gives you the ability to schedule retry and monitor jobs of various type, hadoop, java, shell command and others. It’s based on two server: executor and web ui and Mysql db. Next a solo server version based on H2 memory db will be compiled, installed and used to show jobs workflow a
WorkFlowEngine Digdagの導入
チームの成長を促すためのスプリントレトロスペクティブの活用法 / How to use sprint retrospectives to promote team growth
スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
Digdagのセッションについて調査メモ - Qiita
+task1: sh>: echo task1 +task2: sh>: echo task2 +task3: sh>: echo task3 $ digdag run workflow.dig 2017-03-15 20:25:15 +0900: Digdag v0.9.5 2017-03-15 20:25:17 +0900 [WARN] (main): Using a new session time 2017-03-15T00:00:00+00:00. 2017-03-15 20:25:17 +0900 [INFO] (main): Using session /private/tmp/tmp.jxd7km/mydag/.digdag/status/20170315T000000+0000. 2017-03-15 20:25:18 +0900 [INFO] (main): Start
What’s Digdag? — Digdag 0.8 documentation
What’s Digdag? ¶ Digdag is a simple tool that helps you to build, run, schedule, and monitor complex pipelines of tasks. It handles dependency resolution so that tasks run in order or in parallel. Digdag fits simple replacement of cron, IT operations automation, data analytics batch jobs, machine learning pipelines, and many more by using Directed Acyclic Graphs (DAG) as the infrastructure.
WindowsでワークフローマネージャのAzkabanを動かす - Qiita
Hadoop向けのワークフローマネージャのAzkaban（https://azkaban.github.io）をWindowsで動くようにパッチをあててビルドする。 Azkabanは、Hadoop向けといいつつも、コマンドをスケジュールに合わせて動かすことや複数の依存関係のあるジョブを動かすことができるので、Hadoopと関係なく、定期的に動かしたいタスク、特に複数の依存関係のあるタスクを何でも動かすのに利用できる。 ジョブは、簡単なプロパティ形式の記述をするだけでよいし、Web UIは、シンプルで使いやすく処理時間のグラフなども表示される、Web APIもあるのでAzkaban自身を自動処理させることもできることが良い点。逆に、いまひとつな点は、Web UIから、ジョブの追加を行うことができないので、予めテキストエディタで編集して .zip形式でアーカイブしてアップロードする必要がある。
Azkabanについて書く - wyukawa's diary
ちまたではAirflow(https://github.com/airbnb/airflow)が話題のようですが、Azkaban(http://azkaban.github.io/)を使っている身としてはやはりAzkabanについて書かねばならないと思ったので書きます。別にAzkabanを使ってほしいという意味ではないです。むしろAirflowの運用エントリとか読みたいです。 AzkabanはJavaで実装されたジョブ管理ツールです。開発が若干停滞気味ではありますが、細々と進んでいます。 特徴としては、下記の通りです。 インストールが簡単（バイナリは古いものしか無いのでソースビルドが必要だがgradlewなので簡単） ジョブの依存関係をグラフィカルに見る事ができる。 APIがある ジョブが失敗した時でもボタン一つで失敗したジョブだけ再実行できる TTLがあるけどジョブの実行ログをブラウザか
OSSプロダクトにissue登録する - wyukawa's diary
僕は今見ている社内のログ分析基盤に数多くのOSSプロダクトを使っています。 具体的に言うと、Fluentdでログ収集してHadoopに書き込んでAzkaban経由でHiveバッチを動かしてデータを加工してPresto, Prestogres経由でみたりしています。 また最近はKafkaやElasticsearch, Kibanaといったものも使っていますし、Prometheus, Grafanaを使ってモニタリングするようになっています。 このように数多くのOSSプロダクトを使っている理由は、部品一つ一つを自前実装していたら時間がいくらあっても足りないからです。OSSプロダクトを活用することにより、レバレッジを効かせることができます。 そしてまたOSS界隈の進化のスピードが速いので、仮に自前実装したとしてもすぐに陳腐化してしまう危険性がある。であれば最初からOSSプロダクトを使って巨人の肩
Workflow Engines Meetup #1でAzkabanの発表をしてきました。 - wyukawa's diary
Workflow Engines Meetup #1 - connpass 関係者の皆様おつかれさまでした。ありがとうございました。 スライドはこちら Azkaban from wyukawa Azkabanの紹介とうちのログ解析基盤でのユースケースを話しました。 Azkabanの開発がもっと活発になってほしいなあという話をしたら、oza_x86さんに「開発を活発にするには、今まで実行したジョブの数をMLに送るといい。開発者がテンション上げてくれる可能性がある」と言われたのでMLに投げときました。 https://groups.google.com/forum/?fromgroups#!topic/azkaban-dev/-LRHvS_GjQw
Azkaban
Azkaban Azkaban is a batch workflow job scheduler created at LinkedIn to run their Hadoop Jobs. Often times there is a need to run a set of jobs and processes in a particular order within a workflow. Azkaban will resolve the ordering through job dependencies and provide an easy to use web user interface to maintain and track your workflows. Here are a few features: Compatible with any version of H
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LinkedInのデータ基盤
GitHub - azkaban/azkaban: Azkaban workflow manager.
