digdag on docker による機械学習モデルの継続的学習 - Qiita
こんにちは、CET というチームに所属している @kojisuganuma です。 普段は機械学習エンジニアリングと Splatoon2 をメインでやってます。 本記事では、個人的に勉強中の OSS ワークフローエンジン digdag を使って、機械学習モデルの継続的学習を実現してみたいと思います。ポイントは以下の通り。 digdag server, PosgreSQL を docker コンテナで動かす digdag のタスクを digdag server とは別コンテナの上で動かす scikit-learn を使って機械学習モデリング scikit-learn の学習済みモデルを cloudpickle でシリアライズ 対象読者 docker を使って digdag server を構築したい方 機械学習モデルの継続的学習を実現したい方 scikit-learn を使って機械学習モデリ
digdagサーバをコンテナで動かしてジョブもコンテナで動かす際の設定例
はじめに この記事はMicroAd Advent Calendar 2017の1日目の記事です。 Digdagはジョブをコンテナで実行する事ができ、スケールが容易なワークフローエンジンです。 本エントリではそんなDigdagサーバ自体もコンテナで動かしながらジョブもコンテナで動かす際の設定やハマり所を紹介します。 使用ソフトウェアとバージョン digdag: 0.9.21 docker: 1.12.6 全体像 先にどんな感じの構成を実現しようとしているか、全体像を図示します。 _export: docker: image: python:3 +-------------+ | | | | +---+----+ +----v---+ | | | | docker run | digdag | | python | +---------> server | | (job) | | | | |
digdagをDockerizeしてECS上で運用することにしました - 雑なメモ
データ分析や可視化に伴う複雑なジョブフローの改善にはdigdagが便利です。 少しずつ採用事例も増えているようです。 qiita.com 今回は、そんな便利なdigdagをECS上に構築しました。 *1 事前知識 digdagに関する基本的な知識は、以前のエントリを参考にしてください。 yukiyan.hatenablog.jp コード サンプル用にコードを公開しました。 github.com digdagをDockerizeし、設定ファイル(digファイル)も一緒に固めてECRにpushしています。 つまり、digdagの最新の設定ファイルは常にECRにある状態です。 digdagの設定ファイルを変更したブランチがmasterにマージされると、shippableがdocker build・digdag check・docker push・ECSに関する処理をおこない、古いdigdagコン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker
