エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
digdagでTreasureDataへのデータを取り込むスケジュールワークフローを作成する - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
digdagでTreasureDataへのデータを取り込むスケジュールワークフローを作成する - Qiita
TDへのデータ転送処理をDataConnectorのスケジューラからdigdagのワークフローに置き換えました。 ログ... TDへのデータ転送処理をDataConnectorのスケジューラからdigdagのワークフローに置き換えました。 ログ転送などのデータフロー、ETL処理は各社色々な事情があると思うので役に立つかは不明ですが、 digdagの記事はまだあまりないので少しでも参考になれば幸いです。 弊社の事例では日々S3に格納されるアクセスログをTreasureDataに転送しています。 今まではTDがホスティングしているEmbulkサービスのDataConnectorのスケジューリング機能を使って自動化していましたが、 いざ運用をしてみると色々困ることがあったのでDigDagのTDオペレータを使って置き換えました。 ※DataConnector同様DigDagもワークフローサービスという名前でTDがホスティングされていますが、 現在クローズドベータ版中のため自前で構築しました。