Digdagを導入してみてPLAZMA OSS Day: TD Tech Talk 2018 (https://techplay.jp/event/650389) の資料となります。 −−− DMM.comラボ ビッグデータ部ではETLをはじめとしたバッチ処理をDigdagを利用して行っています。 今回は実際の現場に…
Embulk / Presto / Sparkを用いたETL事情
PLAZMA OSS Day: TD Tech Talk 2018
Gunosyのパーソナライズを支える技術 -ワークフロー編- - Gunosy Tech Blog
この記事は Gunosy Advent Calendar 2017 4日目の記事です qiita.com はじめに こんにちは、データ分析部のy-abeです。 パーソナライズシリーズの続きになります。 tech.gunosy.io tech.gunosy.io 今回はワークフロー編です。 パーソナライズにおいてユーザーや記事の素性抽出や、モデル作成をするコンポーネントや記事リストを生成するAPIが必要です。 それらのコンポーネント間でうまくデータを取り回すためにはワークフローが重要です。 ワークフローは、いわばシステム上における兵站といってもいいでしょう。 「戦争のプロは兵站を語り、戦争の素人は戦略を語る」という名言もあるくらいです。 さて、パーソナライズ記事配信のタスクの流れをざっくりいうと、 ユーザーと記事の素性を集めて整形（ベクトル化） -> 機械学習でモデルを作成 -> 素性とモデ
digdag0.9.21のretryは_retryの定義位置によって挙動が異なる - Qiita
digdagのretryは大変便利です。 例えば、それなりの確率で500statusをレスポンスしてくるAPI 1 にrequestを送る処理を含むscriptを実行するtaskを作るようなケースでも、実際に動作させるcodeにリトライを仕込まなくても自動でtask単位でretryさせることができます（もちろんoperatorの処理結果がErorrにならないとダメですが）。 ですが、最近いろいろと検証していたところ、_retry を定義する階層の違いによって、retry時の挙動に違いがあることに気づいたので、検証した結果をまとめてみます。 2018/03/27追記 https://github.com/treasure-data/digdag/pull/738 のPRにてtask groupのretry時の挙動が修正されました 2018/01/07追記 task groupのretry用t
digdagのincludeで_export - Qiita
やりたいこと 複数digファイルで共用したいパラメータと自digファイル内でのみ使用したいパラメータがある includeをうまく使ってパラメータを共用したい 結論 includeする方に_exportを書く、される方には書かない includeされる方はincludeする方のサブディレクトリに置く !includeと:の間には半角スペースが必要 やってみたこと includeされる方・includeする方を同じディレクトリに置くとエラー $ cat cmn.dig var1: var1_val $ cat a.dig _export: !include : cmn.dig var2 : var2_val +task1: echo>: ${var1} ${var2} $ digdag run a.dig 2016-10-26 19:02:45 +0900: Digdag v0.8.17 e
ワークフローエンジン『Digdag』でSlack通知する #digdag | DevelopersIO
はじめに おばんです、先日地元の仙台に帰ったとき、観光客気分ではじめてずんだシェイクを飲んだら、美味しすぎてハマった田中です。 案件で Treasure Data社 の OSSワークフローエンジン 『Digdag』 を利用することがあり、その中でSlack通知を実装することがあったので、今回はその方法をまとめます。 インストール 以下の記事の Digdagのインストール実施 を参考にDigdagをインストールしてください。 SlackのIncoming Webhook URLを取得する 以下の記事の Webhook URL取得 を参照してください。 DigdagのSlack Pluginを使う 上記リポジトリのsampleディレクトリ内にある.digファイルと成功時/失敗時の.ymlを参考に、ファイルを揃えて $ digdag run -a hoge.dig するとSlackに通知が送信さ
DMMのビッグデータ基盤の裏側を大公開！CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは？ - DMM inside
DMMのビッグデータ基盤の裏側を大公開！CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは？
Digdag x Dockerでモダンなバッチ処理環境を構築
「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。 🤔 紹介スライド2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！ 🚕 Digdagの特徴 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設
Digdag x Dockerでモダンなバッチ処理環境を構築 | 酒と涙とRubyとRailsと
「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。 🤔 紹介スライド2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！ 🚕 Digdagの特徴 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設
【レポート】Workflow Engines Night #workflowenginesnight | DevelopersIO
DI部の川崎です。Digdag使ってます。 今日はDMM.comラボさんが開催された、ワークフローエンジンをテーマにした勉強会「Workflow Engines Night」に参加する機会がありましたので、Digdagの開発者古橋さんのセッションを中心に、参加レポートをお届けします。 勉強会のハッシュタグはこちら #workflowenginesnight はじめに 会場は、六本木一丁目のDMM.comラボさんのオフィスでした。勉強会の概要を引用します。 概要 今回はワークフローエンジンをテーマに勉強会を開催致します。 DMM.comラボからはビッグデータ部で『Digdag』を実際に導入・運用した話、 またインフラ本部からは『StackStorm』による運用コスト・リスク低減の取り組みについてお話しをさせていただきます。 なお、今回は『DigDag』の開発者である 古橋 貞之氏が帰国のタイ
Digdagを仕事で使ってみて良かったこと、ハマったこと / Using Digdag in production environment
Digdagを仕事で使ってみて良かったこと、ハマったこと / Using Digdag in production environment
Digdagへ日次バッチを移行して幸せになるお話
DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフロ…
Rebuild: 152: The True Jenkins Master (naoya)
Naoya Ito さんをゲストに迎えて、Soft Skills, Slack, Digdag, Jenkins などについて話しました。 Show Notes ポケモンGO バージョン0.31.0 はてな退職の辞 - stanaka's blog SOFT SKILLS ソフトウェア開発者の人生マニュアル プログラマ向けに書かれた「Soft Skills」という本がすごいという話 Rebuild: Aftershow 133: Let's Get This Merged (gfx) 自分のSlack見がち問題対処法 Quitter RescueTime How to customize notifications in Slack Rebuild: 145: Benchmarking Placebo (naoya) Digdag 古橋貞之さんインタビュー Jenkins 2 Blue O
Digdag UIを試してみる - Qiita
Digdag UIはドキュメントがなく絶賛開発中な感じですが、どんな見た目か気になったので試してみました. サーバー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Digdag serverを入れた際の躓きポイント(CentOS7対応) - Qiita
DMM.comのビッグデータ基盤を支える技術
Digdagサーバのworkflow executor・agent - Qiita
digdag/digdag-ui at master · treasure-data/digdag
ECSにおける バッチ運用について - Speaker Deck
Digdag Serverのインストール手順 - Qiita
