PLAZMA OSS Day: TD Tech Talk 2018
Embulk / Presto / Sparkを用いたETL事情
PLAZMA OSS Day: TD Tech Talk 2018
Jenkinsの無秩序なジョブをDigdagで再定義する - log.fstn
jenkins で回してる ci のジョブを digdag で書き直してみたけど、フローがひと目で分かるし、git で管理できるし、並列化も簡単だし最高だ。— Kosuke Adachi (@foostan) October 8, 2016 ということで Jenkins のジョブを Digdag に置き換えて Git で管理すると最高なので、今困っている人はやりましょう。1日あれば多分終わります。 今回試したのは CI のジョブですが、どんなジョブでも応用できると思います。 詳しく こないだ Rebuild 152 聴いていたらその会話の中に「Jenkinsおじさん」ってワードが出てきたんですよ。 rebuild.fm Jenkinsをそれなりの規模で使っている人ならお馴染みだと思うんですが、Jenkinsって自由度が高くてジョブの編集も簡単にできるから気をつけないとジョブがカオスな状態に
Digdagのワークフロー定義について理解する #digdag | DevelopersIO
先日の投稿でDigdagの『アーキテクチャ』に関する部分を読み解いて行きましたが、今回はその続き、『ワークフロー定義』に関する部分を読み進めてみたいと思います。 Digdagのアーキテクチャとコンセプトを理解する #digdag ｜ Developers.IO ワークフローは拡張子『*.dig』のファイルとして作成する Digdagのワークフローは拡張子*.digを持つファイルとして作成します。ファイルの名前＝ワークフローの名前、となります。例えば、hello_worldというワークフローを作るとします。その際のファイル名はhello_world.digとなります。中身はこんな感じの記述内容となります。 hello_world.dig timezone: UTC +step1: sh>: tasks/shell_sample.sh +step2: py>: tasks.MyWorkflow
WorkFlowEngine Digdagの導入
チームの成長を促すためのスプリントレトロスペクティブの活用法 / How to use sprint retrospectives to promote team growth
digdagをDockerizeしてECS上で運用することにしました - 雑なメモ
データ分析や可視化に伴う複雑なジョブフローの改善にはdigdagが便利です。 少しずつ採用事例も増えているようです。 qiita.com 今回は、そんな便利なdigdagをECS上に構築しました。 *1 事前知識 digdagに関する基本的な知識は、以前のエントリを参考にしてください。 yukiyan.hatenablog.jp コード サンプル用にコードを公開しました。 github.com digdagをDockerizeし、設定ファイル(digファイル)も一緒に固めてECRにpushしています。 つまり、digdagの最新の設定ファイルは常にECRにある状態です。 digdagの設定ファイルを変更したブランチがmasterにマージされると、shippableがdocker build・digdag check・docker push・ECSに関する処理をおこない、古いdigdagコン
Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag | DevelopersIO
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 タイトルの「DigDag」（ディグダグ） *1と聞いて○ァミコンや○ムコを思い浮かべた方はきっとアラサー以上ですね！ 今回はEmbulkを使い始めると直面するであろう課題について書いていきたいと思います。 これまでに書いたEmbulkエントリー [Embulk] Embulkについての個人的なまとめ [Embulk] guess機能を試してみた【追記】あり [Embulk] guess機能を試してみた Redshift編 [Embulk] タイムスタンプのカラムを追加する [Embulk] タイムスタンプのカラムを追加する add_timeプラグイン編 [Embulk] guess機能を試してみた (テーブルが存在する場合) Embulkを使いはじめると... Embulkはデータファイルの中身をDBにロードするような用途で
DigdagでembulkとBigQueryの黄金コンビがさらに輝く - Qiita
はじめに CYBIRDエンジニア Advent Calendar 2016、今年も16日目担当の@yuichi_komatsuです。 データ分析のエンジニアをしています。 一緒に精進できる仲間も絶賛募集中です！ 興味がある方はこちら！！ 昨日は@sakamoto_kojiさんの「サブスクリプションのサーバサイド開発で得た知見」でした。 まさに現場で奮闘してきたからこその実用的で貴重なTipsですね！ すばらしい！！ では本題です。 今回のネタ 去年は「embulkとBigQueryが黄金コンビすぎる話」を書きましたが（こちらはコメントを記載する際に誤って削除してしまいました・・・すみません）、 そこに新戦力である Digdagでワークフローを組むことによってembulk、BigQueryコンビが一段とパワーアップする！ という話です。 Digdagとは？ 穴掘りゲームではありません。 世界
スタディサプリを支えるデータ分析基盤 ～設計の勘所と利活用事例～
The document is comprised of technical documentation copyrighted by Recruit Marketing Partners Co., Ltd. It includes code snippets and configuration examples for tools like AWS Lambda, Kinesis, Presto, Hive, Embulk and Treasure Data. The documentation provides guidance on building data pipelines, ETL processes, and reporting solutions using these technologies.Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11