tech.every.tvエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
0
記事へのコメント0件
- 人気コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
人気コメント算出アルゴリズムの一部にヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Apache AirflowのPoCをした話 - every Engineering Blog
# Apache AirflowのPoCをした話 はじめに 弊社『DELISH KITCHEN』のデータプラットフォーム上では、日々... # Apache AirflowのPoCをした話 はじめに 弊社『DELISH KITCHEN』のデータプラットフォーム上では、日々発生するデータをLakehouseプラットフォームに集約しており、Databricks上で処理される多数のETLジョブが存在しています。しかし、現在利用しているジョブ管理ツールでは、Databricksのジョブ同士の依存関係を細かく設定することが出来ず、実行ジョブが肥大化してしまう問題があります。 これらを適切な粒度で依存関係を設定出来るようにするため、DAGによるワークフロー定義が可能なApache Airflowを導入しました。その際に行ったPoCでの所感をお話します。 Lakehouseプラットフォームについてはこちらの記事で紹介されています。 Delta LakeとLakehouseプラットフォームによるデータウェアハウス設計 現状 Databrick
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
tech.every.tv
tech.every.tv
tech.every.tv
tech.every.tv
kindaipicks.com
pandora11.com
anond.hatelabo.jp
hochi.news
labo.hatenastaff.com
blog.twitter.com
it.kensan.net
amass.jp
nordot.app
piyolog.hatenadiary.jp
blog.twitter.com
github.com/twitter
youtu.be
youtu.be
azsci.exblog.jp
