タグ

ブックマーク / qiita.com/hiroysato (2)

  • Embulkの設定ファイルをincludeで共有化する方法 - Qiita

    まとめ Embulkの設定ファイルの中で同じ設定をしている部分を別ファイルにすることができます。 別のファイルにする設定ファイルは、_テンプレート名.yml.liquidという名前にします。 別の設定ファイルは、設定ファイルと同じディレクトリが起点ディレクトリになります。 読み込む設定ファイルは、サブディレクトリを作ることはできますが、親ディレクトリを..を使って参照することはできません。(セキュリティに関する配慮) 読み込み時に変数を設定することもできます。 include先のファイル名にハイフンは使えません。(理由は調査中) 動機 Embulkを利用する頻度が増えてくる場合、次のような問題が生じます。 同じ設定内容を、複数のYAMLファイルに記述しなければいけない。 設定ファイルが肥大化して管理するのが大変だ この問題は、Embulkに搭載されているテンプレートエンジンLiquidの機

    Embulkの設定ファイルをincludeで共有化する方法 - Qiita
    girled
    girled 2017/07/19
    digdag server では使えなかったけど issue されていたので対応に期待。出来るようになったら夢ひろがりんぐ。
  • ワークフローエンジンDigdagのまとめ - Qiita

    2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。 変更内容が気になる方は変更履歴をご覧ください。 1. 開催されるイベント 2. オフィシャルページ オフィシャルページ ソースリポジトリ 3. チュートリアル Getting started (英語) Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag (日語) Digdag 入門 Digdagのアーキテクチャとコンセプトを理解する Treasure Workflow for ビギナー 環境構築編 digファイル書き方編 Digdag公式ドキュメントからDigdagを学ぶ

    ワークフローエンジンDigdagのまとめ - Qiita
    girled
    girled 2016/06/30
    気になってるのでチェックする。業務自動化最高
  • 1