Digdag + Embulk + Fargateによるデータマスキング - Qiita
今回は Digdag と Embulk を用いて分析基盤を作ったことについて書きます。 意外とハマりポイントが多く、ネット上に知見もそこまで多くなかったため Tips や解決策を書きます。 実行時の環境は以下になります。 背景 社内では Redash を用いて様々な部署の方がデータの分析をしています。 Redash からアクセス可能なデータの中には秘匿情報も含まれるため、権限管理で分析基盤へのアクセスを厳しく制限する形をとっていました。そこで、社内でより分析をしやすい状態を目指し、秘匿情報をマスキングすることで社員なら誰でもアクセスして問題ない状態を作ることにしました。 このような仕組みを作ると何かしらの情報漏洩が発生するリスクを限りなく小さくできるので、サイトのみならず、会社の信頼性に繋がります。やったね。 今回はワークフローエンジンの Digdag とバルクデータローダーの Embul
digdagメモ - Qiita
このページは？ digdagを使うにあたって必要になって調べたことのメモです。 なので網羅的な資料ではなく、偏った資料となる予定。 現在進行形で書いていきます。(2019/4/2更新) 最初にすること 初めて使う人はdigdag selfupdateすると良い。 slack通知をする時バージョンが古くて使えないdigdag変数とかあったので、とりあえず最新化するのがおすすめ。 複数の配列を同じindexで要素取得したい +repeat: for_each>: fruit: [apple, orange] verb: [eat, throw] _do: echo>: ${verb} ${fruit} # <実行結果の出力> # 2019-03-29 19:02:03 +0900 [INFO] (0017@[0:default]+main-digdag+repeat^sub+for-0=fru
Digdag公式ドキュメントからDigdagを学ぶ-アーキテクチャ - Qiita
目標 Digdagの公式サイトのドキュメントのアーキテクチャを翻訳＋α DigdagのRubyを使ってRailsにバッチを作るまでが最後の目標 http://docs.digdag.io/architecture.html ＃目次 Getting started Architecture Concepts Workflow definition Scheduling workflow Operators Command reference Language API -Ruby Digdagで環境毎に設定値を変える（RubyOnRails） Digdagを用いてRubyOnRails環境でバッチ実装v Digdag Architecture Automating workflow with Digdag ワークフローは手動の動作を自動化します。 一連のタスクをワークフローとして定義します。
Digdagでワークフローを宣言的に書く！ - Kekeの日記
本記事 私は、いくつか家内サービスを運用しています。 例えばCloud FunctionsとCloud SQLを使った「家計簿」を家族全員が使っていますし、自宅に「監視カメラ」をおいてLineBotで適宜確認できるようになっています。 無料枠を使い回しているのでデータ移行が定期的にありますが、そのときによくEmbulkを使っています。 非常に短い備忘録ですが、以下にまとめています。 www.1915keke.com この記事は短すぎて適当に見えるのですが、それくらいシステムは簡単だったことが印象でした。 今回はEmbulkと同じくTeasureDataで開発が進められているDigdagを使ってみて、どのような開発のしやすさなのかなど知識を増やしたいと思います。 Digdagについて 一体何をするもの？ Digdagとは、トレジャーデータが公開したオープンソースなワークフローマネージャーです
ワークフローエンジンDigdagのまとめ - Qiita
2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。 変更内容が気になる方は変更履歴をご覧ください。 1. 開催されるイベント 2. オフィシャルページ オフィシャルページ ソースリポジトリ 3. チュートリアル Getting started (英語) Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag (日本語) Digdag 入門 Digdagのアーキテクチャとコンセプトを理解する Treasure Workflow for ビギナー 環境構築編 digファイル書き方編 Digdag公式ドキュメントからDigdagを学ぶ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
