機械学習パイプラインLuigiのタスク同士の関係を良い感じに可視化する方法 - ドワンゴ教育サービス開発者ブログ
はじめに ドワンゴ教育事業でデータサイエンティストとして働いている中井です。 この記事では、PythonのパイプラインパッケージであるLuigiで構築したパイプラインにおいて、それを構成するタスク間の依存関係・タスクのグループ間（task_namespace で分けられる）の依存関係を良い感じに出力する方法についてお話しします。想定する読者はある程度Luigiを使ったことのある方としています。 Luigiではタスク全体の依存関係を出力できますが、大規模なタスクだともう少し荒い粒度であったり、全体のうちの一部だけ見たいといったこともあると思います。この記事を読むことでそのような荒い粒度の可視化やパイプラインの一部分に注目した可視化ができるようになります。この記事ではまずLuigiを使っていて課題に感じている部分について説明した後に、可視化対象のサンプルパイプラインについて少し触れて、そのパイ
GitHub - meirwah/awesome-workflow-engines: A curated list of awesome open source workflow engines
Activepieces - Open source no-code business automation, alternative to Zapier Airflow - Python-based platform for running directed acyclic graphs (DAGs) of tasks Argo Workflows - Open source container-native workflow engine for getting work done on Kubernetes Arvados - Open Source data and workflow management platform with emphasis on reproducibily, scale, and secure data sharing, deployable on cl
dbtをDagster Cloudでオーケストレーションする
2024-03-05 @Data Engineering Study #23 Data orchestration 特集
データ基盤を支える技術 - ETLフレームワークの実践的な選び方・組み合わせ方 - JX通信社エンジニアブログ
JX通信社シニア・エンジニア兼データ基盤担当大臣の@shinyorke（しんよーく）です. 最近やった「ちょっとした贅沢」は「休日, 自宅で🍺片手に野球を見ながらUberEatsで注文したランチを楽しむ」です. ⚾と飲食を提供してくださる皆さまに心から感謝しております🙏 JX通信社では, 機械学習を用いたプロダクト開発・施策 プロダクト・サービスの改善に関する分析 日々のイベントをメトリクス化して可視化（いわゆるBI的なもの） を円滑かつ効率よく行うため, 昨年からデータ基盤を整備・運用しており, 現在では社員のみならず（スーパー優秀な）インターンの皆さまと一緒に活用し, 成果を出し始めています. ainow.ai なぜデータ基盤が必要か?どういった事をしているのか?...は上記のインタビューに譲るとして, このエントリーでは「データ基盤を支える技術 - ETL編」と称しまして, Py
DynalystにおけるMLワークフローへのPrefect導入事例
第30回 MLOps 勉強会の資料 https://mlops.connpass.com/event/276894/
初めての技術選定を頼まれた時に大事だったのは俯瞰的・相対的な考え方だった - MonotaRO Tech Blog
背景 お題 技術の差別化 差別化から分かること 情報資産からToBeを考える 俯瞰的・相対的な技術選定 これまでの話から学んだこと 最後に はじめまして、MonotaROでデータエンジニアをやっています、芝本です。 エンジニアのみなさん、技術を使って何か作ってみるのって楽しいですよね。 私は、公私ともに日々物作りに励んでいます。プライベートだと、最近はマイクロフロントエンドについて学んでいます。 技術を使うためには、技術を学ばなければいけません。 プライベートにおいては、好奇心に従って自由に学びますよね。 とりあえずgit cloneして動かしてみたり、書籍を購入して読んでみたりします。 というようにプライベートでは主に次のような選択肢があると思います。 書籍を読んで好きなものを選ぶ 実際に手を動かしてみて好きなものを選ぶ 人に教えてもらって好きなものを選ぶ 基本的にプライベートの場合は何
gokartを使ってみる - Re:ゼロから始めるML生活
この前はluigiを使ってみてました。 www.nogawanogawa.com この前参加したの勉強会で登壇者のみなさんがgokart激推しだったので、今回はエムスリーさんで開発されているgokartを使ってみたいと思います。 （エムスリーさん主催の勉強会で、登壇者の半分がエムスリーさんだったから激推しなのは当然っちゃ当然なんですが...） なにはともあれ、やってみたいと思います。 gokart cookiecutter-gokart thunderbolt redshells 使ってみる 題材：SCDV フロー luigiでの実装 gokartを使った実装 redshellsを使った実装 github 感想 gokart github.com gokartの説明は、エムスリーさんのブログが非常にわかりやすかったです。 www.m3tech.blog あと、個人的にはこちらの記事も非常に
GitHub - fireworq/fireworq: Fireworq is a lightweight, high-performance, language-independent job queue system.
Fireworq is a lightweight, high-performance job queue system with the following abilities. Portability - It is available from ANY programming language which can talk HTTP. It works with a single binary without external dependencies. Reliability - It is built on top of RDBMS (MySQL), so that jobs won't be lost even if the job queue process dies. You can apply an ordinary replication scheme to the u
Airflow's Problem | Hacker News
I was at Airbnb when we open-sourced Airflow, it was a great solution to the problems we had at the time. It's amazing how many more use cases people have found for it since then. At the time it was pretty focused on solving our problem of orchestrating a largely static DAG of SQL jobs. It could do other stuff even then, but that was mostly what we were using it for. Airflow has become a victim of
Airflow's Problem
I wrote an entire blog post trying to pin down why I dislike Airflow. But despite my rationalizations, it came out like a break-up letter — just way too personal: Dear Airflow, I tried to make it work, I really did. But you are too old, your abstractions are clunky, and I think you’re ugly. It’s over between us. Sincerely, Stephen Which would have been fine, except I knew exactly how Airflow would
gokart で言語処理100本ノックをやってみる - Qiita
gokart とは gokart はエムスリーが開発している機械学習パイプラインツール。 Spotify により開発されている luigi のラッパーになっていてより簡単に書くことができる。 NLP の機械学習モデルを開発していると前処理、事前学習、ファインチューニング、可視化などなど工程が多く、管理が大変になる。パイプラインツールを使って楽になりたいということで、言語処理100本ノック2020 Rev2の機械学習パートで試してみる (56, 57, 59は gokart 的に新しい操作がないため飛ばす)。 公式情報として gokart は redshells などと組み合わせて使われることが多いようだが、この記事では gokart 自体の動作の理解のため、他のツールは使わずに実装する。 前準備 gokart がどんなものかまずは公式ドキュメントで動作を確かめてみると良い。 Intro T
入門 Airflow
概要 Airflowを触ったことがない人が業務にスッと入れるようにするための知識として社内のチームメンバー向けに書いてたのですが、インターネットに出せる形に調整して公開してみることにしました。 ちなみにv.1.0.0ぐらいのノリなので今後も必要に応じて更新していく予定です（ドキュメント自体も30分ぐらいで一気に書いたこともあり荒削り感は否めません） また、だいぶ前に勉強会向けに作成した資料もここに貼っておきます。 Airflowについて Airflowとは 一言で言うと「ワークフローエンジン」です。 Pythonでワークフローを実装し、その実行をスケジューリングやモニタリングを通じて管理くれるプラットフォームとなっています。 公式サイトからの引用 Airflow is a platform created by the community to programmatically autho
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How Discord Uses Open-Source Tools for Scalable Data Orchestration & Transformation
GitHub - dagster-io/dagster-open-platform: Dagster Labs' open-source data platform, built with Dagster.
GitHub - ricosjp/dagstream: DagStream is the Python package in order to manage relationship between functions, especially for data-preprocessing functions for machine learning applications.
GitHub - mage-ai/mage-ai: 🧙 Build, run, and manage data pipelines for integrating and transforming data.
Give your data team magical powers
Data quality and Airflow | Astronomer Documentation
GitHub - Netflix/conductor: Conductor is a microservices orchestration engine.
Airflow入門
