Digdag v0.9.40 で理解する Digdag UI - Qiita
これは Arm Treasure Data Advent Calendar 2019 25日目の記事です。 ※ こちらの記事に書かれている情報は v0.9.40 をベースにしており、将来的に変更される可能性があります。 はじめに みなさんこんにちは。 先日 (2019-12-11) に、digdag v0.9.40がリリースされました。 リリースノートはこちら: Release 0.9.40 — Digdag 0.9.40 documentation 久しぶりのリリースになった関係でたくさんの変更が含まれる形になりましたが、実はUIも大きく変わっております。 今回ではそんなデザインの変更に触れつつ、今までDigdag UIを利用したことがないなというユーザーの皆さんにも「こんな感じなのか」とイメージをつけていただけるように、ページの一覧や機能を少し詳しく書いてみたいと思います。慣れればそう
digdag on docker による機械学習モデルの継続的学習 - Qiita
こんにちは、CET というチームに所属している @kojisuganuma です。 普段は機械学習エンジニアリングと Splatoon2 をメインでやってます。 本記事では、個人的に勉強中の OSS ワークフローエンジン digdag を使って、機械学習モデルの継続的学習を実現してみたいと思います。ポイントは以下の通り。 digdag server, PosgreSQL を docker コンテナで動かす digdag のタスクを digdag server とは別コンテナの上で動かす scikit-learn を使って機械学習モデリング scikit-learn の学習済みモデルを cloudpickle でシリアライズ 対象読者 docker を使って digdag server を構築したい方 機械学習モデルの継続的学習を実現したい方 scikit-learn を使って機械学習モデリ
digdagサーバをコンテナで動かしてジョブもコンテナで動かす際の設定例
はじめに この記事はMicroAd Advent Calendar 2017の1日目の記事です。 Digdagはジョブをコンテナで実行する事ができ、スケールが容易なワークフローエンジンです。 本エントリではそんなDigdagサーバ自体もコンテナで動かしながらジョブもコンテナで動かす際の設定やハマり所を紹介します。 使用ソフトウェアとバージョン digdag: 0.9.21 docker: 1.12.6 全体像 先にどんな感じの構成を実現しようとしているか、全体像を図示します。 _export: docker: image: python:3 +-------------+ | | | | +---+----+ +----v---+ | | | | docker run | digdag | | python | +---------> server | | (job) | | | | |
Digdagで日付でループ ※イマイチ - Qiita
+repeat: loop>: ${ moment("2016-12-31").diff(moment("2015-01-01"), 'days') + 1 } _do: echo>: ${ moment("2015-01-01").add(i, 'days').format("YYYY-MM-DD") } _export: start_day : 2016-01-31 end_day : 2016-03-01 +repeat: _export: start_month: ${moment(start_day).format("YYYY-MM-01")} end_month : ${moment(end_day) .format("YYYY-MM-01")} loop>: ${moment(end_month).diff(moment(start_month), 'month') + 1}
digdagを使っててハマった事メモ - FLINTERS Engineer's Blog
S3にあるファイルを加工したり中間結果のファイルを保存したりTreasureDataに格納するような処理を書いていったときに発生したエラーメモ。 digdag version 0.9.24 github.com サーバーモードでdownload_fileオプションが使えない プロジェクトディレクトリ内にダウンロードしたはずのファイルが次のタスクで消え去った ファイルに保存せずにスクリプトを書いてDigdag.envを使ってクエリ結果を変数に保持させて対応 別の方法も（参考 digdagのtd>のdownload_file） プロジェクト外のディレクトリを参照できない SQLファイル動的に生成してtdオペレータに渡すようなタスクを作った 生成したファイルをプロジェクトディレクトリに保存するようにしたが次のタスクでNo such file or directoryになり参照できず（ローカルモー
Digdag serverを入れた際の躓きポイント(CentOS7対応) - Qiita
数ヶ月前、Digdag serverを導入した。 これまではタスクの依存関係だけ解決できればいいよね、というスタンスでDigdagを使っていた。 が、タスクのモニタリングやRetry、並列処理をスムーズにやりたい等が重なりDigdag serverを使うことになった。 ついでにCentosが6だったので7にアップグレードしている。 自分が躓いた点について書いてみた。 DigdagをDaemon化するためのSystemd設定 [Unit] Description=digdag [Service] Type=simple PIDFile=/run/digdag.pid ExecStart=/bin/bash -l -c 'EMBULK_ROOT=/apps/ipros-embulk/current ~/bin/digdag server --max-task-threads 2 --confi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
