You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - harshadmanglani/polaris: Polaris: High performance workflow orchestrator for Golang
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[GitHub Actions]actions/cache＆pipenv＆pytestの組み合わせを正常動作するまで検証＆修正した記録 | DevelopersIO
はじめに GitHub ActionsのWorkflowにて、pipenvを使いつつcache化させて効率よく動かす、ということをされている方は多いと思われます。私自身、担当プロジェクトにて効率よく動かしている、と思っていました。一応キャッシュはしていたものの、キャッシュを無視して毎回インストールするフローになっていたのは不覚の極みでした。 正常にキャッシュされているかどうかの見極めと、pipenvとactions/cacheを併用したpytestの動作例をまとめました。 正常にキャッシュされているかどうかを見極める セルフホストしていない限りは、ActionsのWorkflowログが確認の全てです。 キャッシュキーが意図した通りになっているか確認する actions/cacheにて生成を想定するキーは恐らく次のような構成でしょう。 Linux-pipenv-8772fa24c3defb2
![[GitHub Actions]actions/cache＆pipenv＆pytestの組み合わせを正常動作するまで検証＆修正した記録 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d1762eaf81b2855f2648b259156f5cb9c7592542/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F07%2Fgithub-eyecatch.png)
Netflixから機械学習ワークフロー管理用のPythonライブラリ，Metaflowがリリースされました。 これを使うと， データ処理・モデル構築プロセスを統一フォーマットで記述でき，全体のフローを追いやすい モデル・前処理工程のバージョン管理ができる AWS環境上での分散処理が可能 といったメリットがあります。 気になる人は，tutorialを動かしつつ公式ドキュメントに目を通してみましょう。 Tutorialについては，pip install metaflowでライブラリを入れた後， とするだけで一式揃いますので，気軽に試すことができます。 本記事では，ざっくりとした機能概要と使い方をまとめていきたいと思います。 ライブラリ概要 Metaflowでは，データ処理や機械学習モデル構築・予測のワークフローをPythonのクラスとして定義し，コマンドラインから実行します。 その際実行の都度
GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する | DevelopersIO
GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する こんにちは、CX事業本部 IoT事業部の若槻です。 前回の下記エントリでは、AWS Step Functions LocalによるMockテストをJestで実行してみました。 AWS Step Functions LocalによるMockテストをJestで実行してみた | DevelopersIO 今回は、同じくAWS Step Functions LocalとJestによるState MachineのMockテストをGitHub Actionsで実行してみました。 やってみた 実装のファイル構成は次のようになります。 $ tree . ├── .github │ └── workflows │ └── ci.yml ├── jest.config.js
この記事はMLOps Advent Calendar 2021の18日目の記事です。 2016年にもTensorFlowとMLサービスの2016年の布教活動報告を書きましたが、ここ3年くらいはMLOps系の活動をメインにしてきたので、その報告です。COVID後はイベント登壇も減り、ブログ記事の執筆が多くなりました。その裏話的な内容です。 Feature Store のブログ記事 今年5月のGoogle I/OでVertex AIのMLOps系プロダクトがいくつかリリースされたので、その後にフォローアップのブログ記事を出し始めました。まずは6月にPMのAnandと書いた Kickstart your organization’s ML application development flywheel with the Vertex Feature Store（日本語版）です。 このプロダクト
大阪オフィスの玉井です。 dbt界隈の人たちがこぞって推奨している（ように思える）ツールであるDagsterを使ってみました。 Dasterとは？ 公式の紹介文を引用します。 Dagster is a data orchestrator. It lets you define pipelines (DAGs) in terms of the data flow between logical components called solids. These pipelines can be developed locally and run anywhere. 「データオーケストレーター」と言われると、なかなかピンときませんが、ジョブ管理ツールの一種と思っていただければわかりやすいと思います（Apache Airflow等と同じカテゴリ）。データパイプラインの開発はもちろん、一連の処理の運用
Check! GitHub Actions: 別のワークフローの実行リクエストまたは完了を契機にワークフローを実行する
Prologue GitHub アクションで、「ワークフローが終わったら/リクエストされたら、実行する」というトリガをご紹介します。 私の例では、このようなニーズに対して対応することができました。 first-workflow.yml: pull_request や push: [main] などのトリガでテストを行うワークフロー実行 second-workflow.yml: main ブランチへ push されたときにだけ、デプロイするための別のワークフローを実行 指定したワークフローを契機に実行されるトリガ workflow_run on.workflow_run は、ワークフローがリクエストされた、または実行完了した契機で呼び出されるトリガです。 workflow_run | Events that trigger workflows - GitHub Docs イベントタイプは c
というような感じになっていて、目的や供与可能なコスト分を考えながらここらへんをうまいこと組み合わせてデータ基盤というのは構築される。 最近では多くの企業でデータエンジニアというポジションが募集されており、データエンジニアは何をしているかというとここらへんの構築・整備を行う。 正直なところデータエンジニアの仕事というのはエンジニアリング的に難しいことは何もなくて、基本的に社内政治に振り回されながら泥臭い作業を行うだけの妖怪になるという悲しい役割に終始するのだけれど、ひとまず業務としてはワークフローエンジンの整備を行う。 ワークフローエンジンに何を使うかについては結構トレンドがあり、少し前(だいたい5年前とか？)はDigdagを使うのが主流だったのだけれど最近はユーザーも離れてしまいあまり開発も活発ではなくなってしまっており(DigdagはJavaで作られているのだが最近のLog4jの問題が発
https://www.mage.ai/
バッチ処理系の刷新とArgo Workflow移行
これはPTAアドベントカレンダーの7日目の記事です。 5年間運用されてきたバッチ処理系を刷新し、Argo Workflowを用いたバッチ処理系に移行したのでその紹介記事です。 背景 GKE上でバッチ処理のワークロードを実行しており、ワークフローエンジンとしてDigdagを採用していました。ユースケースとしては定期実行のバッチ処理、ETL、機械学習等。 Digdagを用いたワークフロー定義はシンプルかつ運用に必要な機能を提供してくれています。実際のワークフロー内部の処理としては、ワークフローの各タスクにおいては基本的にはロジックは持たずKubernetes Jobの実行のみを行います。そのためにDigdagとKubernetes Job間で協調動作するための仕組みが独自で用意されていました。このようなバッチ処理系が約5年程運用されてきました。 この仕組で今まで元気に動いてはいたのですが次のよ
OCHaCafe Season5 #6の資料です．
データ処理パイプラインの Argo Workflows 移行を検討した話 - freee Developers Hub
AirflowからArgo Workflowsへ freee の AI ラボというチームでエンジニアをしている id:nagomiso と⾔います。好きな飲み物はストロング系チューハイです。オススメはキリン・ザ・ストロングのコーラサワーと SAPPORO 99.99 のクリアレモンです。 さて, あまりイメージがないかも知れませんが実は freee の AI ラボでは機械学習やデータを活用したサービスの検討・開発だけではなく, 開発や運用を効率的に行うためのインフラ整備にも取り組んでいます。（取り組みの一部は 開発スピードを止めない機械学習インフラ基盤――freeeに学ぶAI開発で本質的価値を提供する方法 でも紹介しています） こうしたインフラ整備の一環としてデータ処理パイプラインの Argo Workflows 移行を進めているので今回はその話をしようと思います。 動機 もともと AI
[dbt] custom schemaを使って普段とは別のスキーマ下にデータモデルを作成する | DevelopersIO
大阪オフィスの玉井です。 今回は下記の機能を使ってみたので、ご紹介します。 dbtはどこにデータモデルを作るのか？ dbtはELTの「T」を担当するツールということで、分析に最適化されたテーブルやビューを簡単に構築することができる…というのは、dbtを調べたり触ったりしたことがある方はわかると思います。 では、その「分析に最適化されたテーブルやビュー」というのは、どのDB・どのスキーマに作られるのでしょうか。 ざっくりいうと最初の設定で指定した場所に作られる DBについては、Projectを作成するときに、対象のDWHの接続情報を設定しますが、そのときに指定した場所になります。ついでに、スキーマも合わせて設定できますが、こちらは接続情報として設定するのではなく、ユーザー毎に持つ「開発用の資格情報」として設定します。 「なんでこの設定こんな分かれ方してんの？」って思っちゃいますが、「どのスキ
![[dbt] custom schemaを使って普段とは別のスキーマ下にデータモデルを作成する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6172dee51c84ef7822379d7334691c90332d7023/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F08%2Fd72f41d6eb099a8fa0ef2791ad2b18a7.png)
GitBucket はご存知、takezoeさんを中心に開発されている素晴らしい GitHub クローンです。 gitbucket.github.io 同僚が作ってるプロダクトをトレジャーデータと連携させた記事がないのはあかん！と、ふと思い立ったので、 GitBucketでTreasure Workflow (Hosted Digdag)のソースコードをGitBucketで管理しつつ、GitBucketにPushしたら自動でTreasure WorkflowにPushされるようにしてみます。 GitBucketの他に、これまたtakezoeさんのGitBucket CI Pluginを組み合わせてTreasure WorkflowへのPushを実現します。 github.com 注意: 下記ブログにもある通り、GitBucket CI Pluginを用いた連携はあくまでお試しの設定です。あ
はじめに Oktaでは、Okta Identity Platformという安全安心にアイデンティティ管理を行うことができるプラットフォーム機能群が提供されています。具体的には、以下に列記するように、Okta Identity Platformを構成する要素として以下の6つの機能を提供しています（参考：Okta社ウェブサイト）。 Directories Integrations Insights Identity Engine Workflows デバイス 今回は、6つの機能の中でも比較的新しい、2020年3月に開催されたOktane 20で発表され提供されているOktaのWorkflows機能についてご紹介いたします。 このWorkflowsはその名の通り、任意のワークフローをノーコードで組むことができるOktaのEnterprise向け機能で、IFTTTやZapier、Microsoft
本記事では、様々なシステムからデータを収集・蓄積・加工してデータ分析用に提供するデータパイプラインにおいて、処理の単位を考える上での考慮すべき点をいくつか書き殴ってみようと思います（書き殴りなので重大な抜けはあると思います）。 ここでの処理の単位というのはちょっと曖昧ですが、外部から呼び出されるスクリプトをどの単位で書くかということを指してると思ってください。Airflowを使っていればタスクを、JP1を使っていればジョブをどの単位にするかということと言い換えても良いかもしれません。 処理の単位を決める観点は複数あり、要件や制約に応じて判断するものなので、常にこうすべきという方針があるわけではないことはご了承ください。 1. 想定する処理内容 具体的な例がないと説明しづらいので、以下のようなシステムAとシステムBからデータを取得して、汎用的に分析に利用可能なテーブルを作成し、その後に特定の
AWS Step FunctionsのCallback PatternsでCodeBuildをステートマシンに組み込んでみた - Qiita
AWS Step FunctionsのCallback PatternsでCodeBuildをステートマシンに組み込んでみたAWSCodeBuildstepfunctions 先日、AWS Step FunctionsでCallback Patternsがサポートされ、成功・失敗が通知されるまで指定した箇所でステートマシンの動作を停止させておくことができるようになりました。これによって、ワークフローのある地点で処理を一時停止させ、承認を取ってから処理を続行するといったことができるようになりました。 これを使い、Step Functionsに正式対応していないサービスであっても、擬似的に統合できるのではないかと考え、CodeBuildをワークフローへ組み込めるか試してみました。具体的には、コールバックパターンでLambdaを起動しそこからCodeBuildをキックします。CodeBuildで
[レポート] Spotify社のコンテンツ分析チームがBigQueryのデータ消化不良をdbtで回避した方法 #dbtCoalesce | DevelopersIO
[レポート] Spotify社のコンテンツ分析チームがBigQueryのデータ消化不良をdbtで回避した方法 #dbtCoalesce 大阪オフィスの玉井です。 2022年10月17日〜21日に行われたCoalesce 2022というハイブリッド（オンライン+オフライン）カンファレンスが開催されました。主催はdbt labs社です。 本記事は、その中で発表されたHow the Content Analytics team at Spotify avoids data indigestion in BigQuery with dbtというセッションについて、レポートをお届け致します。 セッション概要 登壇者 Nick Baker Senior Analytics Engineer , Spotify Brian Pei Analytics Engineer, Spotify 超概要 超有名サ
![[レポート] Spotify社のコンテンツ分析チームがBigQueryのデータ消化不良をdbtで回避した方法 #dbtCoalesce | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92d767f59dc710a3833e5937cd5953eae066745d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F10%2Fblog-image2.jpg)
Optuna meetup #1 で使用した資料です．
この記事は「Eureka Advent Calendar 2020」の16日目の記事です。 こんにちは、Head of BIの鉄本です。 15日目は Jun Ernesto Okumuraによるエウレカのデータ組織運営の1年間でした。今日はこの話に関連して、もう少し具体的にEureka BIチームのAnalystの分析フローを支える分析環境について書きます。主に運用の思想や仕組みづくりの紹介になります。 想定読者Data Lake・Data Ware House・Data Martなどのデータ基盤周辺知識があるAnalystを活かすデータ基盤の開発運用に興味がある前置きBIチームの紹介やAnalystの業務フローに関する前置きが少し長くなりますがお付き合いくださいませ。 お急ぎの方は、本題まで飛ばしてください。 チームのミッションとデータ基盤BIチームは、「価値のある意思決定」と「意思決定
GitHub - bpmn-io/bpmn-js: A BPMN 2.0 rendering toolkit and web modeler.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに 2022年あけましておめでとうございます。 昨年末 (2021年12月) に ASF Incubator プロジェクトを卒業しトップレベルプロジェクトとなった ETLツール Apache Hop で遊んでみたので記事としてまとめました。 この年末年始に初めて触ったプロダクトなので、内容に誤りがある可能性があります。お気軽にご指摘ください 🙇♂️ Apache Hop とは何か？ ちゃんとした説明は 公式のドキュメント にすべて詳細に書かれています。 ここでは自分の解釈も入れつつ Apache Hop を紹介してみます。 概要と特徴 Apache Hop は ETL (Extract/Transform/Load) の開発ツール・実行エンジンです。データオーケストレーションツールとも呼ばれます。もともとPentahoの一部として開発されていた Kettle というプロジェクトか
はじめに PNGやGIFの圧縮は、ブログ記事やGitHubのPull Requestの実行画像貼り付けとかで割とあります。 自分はTinyPNGやiLoveIMG を利用していましたが、プラウザを開きファイルをアップロード・圧縮しダウンロードという手順が毎回面倒でした。 なので、alfred-imagemin というPNG / JPEG / GIFを手軽に圧縮するAlfred Workflowを作ってみました。 （GIFでも使えるというのが嬉しいポイントです） この記事ではalfred-imageminの概要と、仕組みを紹介します。 ※ Alfred WorkflowはAlfredでAlfred Powerpackを導入済みの方のみ使える機能です。便利なWorkflowで作業効率爆上がりなので、未導入の方はぜひこの機会に！ インストール 以下コマンドでnpmからインストールできます（後述す
概要Alfred は、Mac の多機能ランチャーアプリケーションです。 この記事では、Alfred の機能のひとつ、Alfred Workflows（以下、ワークフロー）を Node.js で作成する方法を説明します。 「alfy」というライブラリを利用すると、Node.js でワークフローをカンタンに作成できます。 環境Alfred 4（Powerpack）Node.js 10ワークフローのしくみワークフロー（要 Powerpack）は、Alfred に割り当てたトリガーや検索ボックスのインプットをもとに、情報を加工し出力します。 たとえば筆者が作成した alfred-kibela-workflow では、次のことを行っています。 ユーザーより、「ワークフローのトリガーワード」＋「キーワード」が入力される入力されたキーワードで、Kibela というサービスのノートを検索するため、API
ArgoCD の Config Management Plugin (CMP)を理解し、Plugin でマニフェストの変数置換を行う - kencharosの日記
概要 前職の同僚がずっと、PullRequest ごとにプレビュー環境でアプリケーションをデプロイしたいと言っていた。 確かにそれができれば便利ではあるけど、たとえ k8s の力を借りても実現するまでの手順は多く、遠い夢かと思っていた。 でも ArgoCD で頑張ればその夢は近くなるかもしれない。 これは、ArgoCDの Config Management Plugin (CMP) と呼ばれる機能を使って、動的なマニフェスト生成を行い、さらにPullRequestごとの固有の情報をマニフェストに柔軟に埋め込むための仕組みを考えてみたという話。 想定読者 k8s にある程度詳しい ArgoCD にもある程度詳しい ArgoCD の ApplicationSet や Generator の機能を知っている、あるいは調べればわかる方 参考資料 GitブランチやPullRequestごとにプレビュ
こんにちは、Assured のオリバーです。 最近、Google Platform の Workflows を業務に導入し、非同期で動作していたプロセスやバッチをパイプライン化して自動化することで、管理コストと運用コストを削減することができました。この記事では、私たちが取り入れた構成例や、参考になりそうなポイントをいくつか紹介します。これらの情報が、これから Workflows を試してみたい方や、既に使用を開始している方にとってお役に立てれば嬉しいです。 すでに Workflows をご利用の方は、「Workflowsとは」のセクションを飛ばして、「Assured のユースケース」からご覧ください。 Assured の事例は以下の二つについて話をします。 データ解析のパイプライン化 長時間のキューイングプロセスの自動化 Workflowsとは Workflows は Google Clo
ミツモアを支えるデータ分析基盤あるいはStitchとdbtを用いたELTについて - ミツモア Tech blog
※ こちらはミツモアAdvent Calendar 2021の12/20分の記事です。 こんにちは、ミツモアCTOの柄澤（@fmy）です。今回は、ちょうど1年半前ぐらいに整備したミツモアデータ分析基盤についてご紹介いたします。（記事にするのが遅くなってすみません） 全体像 ミツモアのデータパイプラインの全体像は以下のようになっています。 ミツモアのデータパイプライン このパターンはETL（Extract / Transform / Load）ではなくELTと言われ、ExtractとLoadを行ったのちに、データウェアハウスの中でTransformを実施する戦略となっています。BigQueryに代表される今日のデータウェアハウスは膨大なデータを保持し、大量の並列処理を可能とする能力があるので、一旦データウェアハウスにあらゆるデータを入れたのちに、自由にデータの変換処理をする方が筋が良いように
この記事は、Money Forward Engineering 2 Advent Calendar 2022 2日目の投稿です。 はじめに Data Source Management 🧹 部署と職種の粒度を再定義 求人 - 部署 - 職種の辞書データを作成&維持管理 ATSデータ品質をdbtでモニタリング Extract & Load 🚛 GitHub Actionsフル活用 Workload Identity連携 毎朝dbt source freshness Transformation 🍳 ワイドテーブルを採用 macroで表記揺れ管理 3層モデル Use 🍱 スプシ/BI 権限付与もdbtに任せる Development 💻 elementaryとPiperider Docs類はGAE GitHubと社内Wikiを同期 品質モニタリング用テーブルを用意 dbt-osmos
gokart とは gokart はエムスリーが開発している機械学習パイプラインツール。 Spotify により開発されている luigi のラッパーになっていてより簡単に書くことができる。 NLP の機械学習モデルを開発していると前処理、事前学習、ファインチューニング、可視化などなど工程が多く、管理が大変になる。パイプラインツールを使って楽になりたいということで、言語処理100本ノック2020 Rev2の機械学習パートで試してみる (56, 57, 59は gokart 的に新しい操作がないため飛ばす)。 公式情報として gokart は redshells などと組み合わせて使われることが多いようだが、この記事では gokart 自体の動作の理解のため、他のツールは使わずに実装する。 前準備 gokart がどんなものかまずは公式ドキュメントで動作を確かめてみると良い。 Intro T
最近、作業効率化・自動化にハマっているので、神が作りし神アプリalfredでGoogle翻訳させるやり方書きます。 「alfredって何？」っていう人はこの記事読まないと思うので、この記事では言葉の細かい説明はしません。 前提条件 alfred version4系インスコ済み(多分3でも動く。2は知らない。) power pack購入してactivate済みであること power packはalfredの機能を制限なく使用するために買うやつです。 25ドルと45ドルのやつがありますが、alfred至上主義者の俺は45ドルの方を買いました。 alfredは神アプリなので100ドルでも買う自信があります(威圧)。 やり方 まず、alfred-google-translateっていう下記リポジトリからworkflowファイルをダウンロードします。 https://github.com/xfslo
WorkflowsからDataformの起動方法を検証してみました。Dataformタグ指定、コンパイル変数のWorkflowsからの上書きができるか、もあわせて検証してみました。 データアナリティクス事業本部の根本です。Dataformを使っていて、呼び出しもと(Workflowsとか)から動的に値を変えてDataformを呼び出すことができたらいいなと思い調べてみたらコンパイル変数を用いたらできたので記事にしてみました。 この記事の対象者 Dataformでコンパイル変数を使ってみたいひと 前提条件 Dataformのワークスペースやリポジトリが存在する、使えること 検証の全体像 コンパイル変数をdataform.jsonで指定して動作するか確認 APIでDataformを実行するときにコンパイル変数の値を上書きして動作するか確認 上記2つの検証をしていきます。 やってみる それでは早
Prometheus Metricsを使ってArgo WorkflowsのWorkflowの成否をDatadogで監視する - yasuhisa's blog
背景 具体的な設定 コントローラーに設定を生やす workflowを監視するためのカスタムメトリクスを定義する 各workflowに同様のカスタムメトリクスを定義する デバッグ方法 所感 背景 前職に引き続き、現職でもArgo Workflowsを使ってデータエンジニアリング系のバッチ処理を行なっている 以前にCloud Workflowsを調査したことがあったが、まだちょっと厳しい感があった 前職ではCloud Monitoringで監視していたが、現職ではDatadogで監視しているので、全社の体制に合わせてDatadogで監視していきたい Argo WorkflowsはPrometheus Metricsに対応しており、Datadogはagent経由でPrometheus Metricsの収集を容易に行なえることが分かった 同僚のSREであるtapihさんから教えていただいてました、
Vertex AI PipelinesとKubeflow Pipelinesはじめの一歩 | DevelopersIO
Vertex AI Pipelinesを全く使ったことがない人向けに、Kubeflow Pipelinesのはじめ方からまとめてみました。 データアナリティクス事業本部 機械学習チームの鈴木です。 この記事は、ブログリレー『Google CloudのAI/MLとかなんとか』の１本目の記事になります。 そろそろVertex AIもマスターしないとなと思い、Vertex AI Pipelinesをキャッチアップしています。同僚のじょんすみすさんが以前に以下の『Vertex AIではじめるKubeflow Pipelines』を公開してくれていました。 私はBigQueryなどのデータ分析系のサービスの経験が厚く、Vertex AI PipelinesおよびKubeflow Pipelinesを触るのが初めてだったため、Kubeflow Pipelinesとはなんぞやから始める必要がありました。
[レポート] データウェアハウスを製品として捉える〜設計から実現までの一貫した流れ #dbtCoalesce #Coalesce23 | DevelopersIO
[レポート] データウェアハウスを製品として捉える〜設計から実現までの一貫した流れ #dbtCoalesce #Coalesce23 大阪オフィスの玉井です。 米国時間2023年10月16日〜19日、イベント『Coalesce 2023』が開催されました。主催はdbt labs社です。 本記事は、その中で発表されたData warehouse as a product: Design to delivery（データウェアハウスを製品として捉える：設計から実現までの一貫した流れ）というセッションについて、レポートをお届け致します。 セッション概要 登壇者 Lance Witheridge, Data Modernisation Lead, Trade Me 超概要 社内のデータ分析基盤をクラウド化しようとしたが、うまくいかず、抜本的な再設計を行った話です。その際、DWH（のデータ）を製品・プ
![[レポート] データウェアハウスを製品として捉える〜設計から実現までの一貫した流れ #dbtCoalesce #Coalesce23 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8152a5e31e1be4fc2ab8ef54805639f6af813c52/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F10%2Fcoalesce-2023-logo_1200x630.png){kind=logo}
2024-03-05 @Data Engineering Study #23 Data orchestration 特集
R のパッケージ {targets} にコントリビュートした話 - Sansan Tech Blog
はじめに 研究開発部の小松です。 本記事は Sansan Advent Calendar 2022 の17日目の記事になります。 adventar.org 普段こちらのブログではネットワーク経済学をテーマに細々と書いています。今回は少し話題を変えて、日頃の分析でお世話になっている R のパッケージ {targets} に (半年ぐらい前になりますけれど) OSSコントリビュートした話をします。 普段の業務では Python と R 両方使っていますが、素早い対応が求められる分析業務では私は R を使っています。{tidyverse} によるデータハンドリングに慣れた身からすると、pandas での処理はまどろっこしく感じられて未だに慣れません。*1 その R を用いた分析の生産性を向上に大きく寄与しているのが、1年程前に使い始めた {targets} です。以下の記事にも、研究開発部の R
データ基盤の監視 データ基盤は下流の分析・可視化・モデリングの「基盤」となるので、監視は言うまでもなく品質を担保するため重要な存在です。データ基盤監視の考え方についてこの2つの記事が紹介しています。 同じくSQLによるデータ基盤を監視しており、最も大きな違いは自作ツールかAirflowで検証することだけです。本文はAirflowで構築したワークフローの検証についてもう少し紹介したいと思います。 まず、Data Pipelines Pocket Referenceではデータ基盤検証の原則が紹介されました。 Validate Early, Validate Often 要はできるだけ早く、できるだけ頻繁に検証するとのことです。ELTあるいはETL処理においては、Extract, Load, Transformそれぞれのステップが終了した直後に監視するのは最も理想的だと思います。 Transfo
Workflows | Google Cloud
Combine Google Cloud services and APIs to build reliable applications, process automation, and data and machine learning pipelines. New customers get $300 in free credits to spend on Workflows. All customers get 5,000 steps and 2,000 external API calls per month, not charged against your credits.
Prefect Docs
Looking for the latest Prefect 2 release? Prefect 2 and Prefect Cloud 2 have been released for General Availability. See https://docs.prefect.io/ for details. Prefect 1 Core, Server, and Cloud are our first-generation workflow and orchestration tools. You can continue to use them and we'll continue to support them while users migrate to Prefect 2. If you're ready to start migrating your workflows
Great Expectationsを用いたデータ品質テストがdbt上で行えるpackage「dbt_expectations」を試してみた #dbt | DevelopersIO
Great Expectationsを用いたデータ品質テストがdbt上で行えるpackage「dbt_expectations」を試してみた #dbt さがらです。 Great Expectationsを用いたデータ品質テストがdbt上で行えるpackage「dbt_expectations」を試してみたので、その内容をまとめてみます。 dbt_expectationsとは dbt_expectationsに関する情報は、下記ページにまとまっております。 このページの説明を見ると、このように書いてあります。 dbt-expectations is an extension package for dbt, inspired by the Great Expectations package for Python. The intent is to allow dbt users to de
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Netflix開発のMLワークフローツール，Metaflowを試してみた【概要編】 - Qiita
MLOps系プロダクトの布教活動報告 - Qiita
データオーケストレーションツールのDagsterを使ってみた | DevelopersIO
Argo Workflowsの設定や文法
MLOpsを始めよう!/MLOps-Getting-Started
GitBucketとTreasure Workflowの連携 - Secret Ninja Blog
画像で紹介｜Okta Workflowsとは？ | TC3株式会社｜GIG INNOVATED.
データパイプラインにおける処理の単位 - Qiita
Hydra, MLflow, Optunaの組み合わせで手軽に始めるハイパーパラメータ管理
Analystのスループットを継続的に最大化させるデータ基盤の運用思想
ASF Incubatorを卒業したApache Hopで遊んでみる
最速で画像を圧縮するAlfred Workflowを作った - Qiita
Node.js で Alfred Workflows を作る | ひよこまめ
Google Cloud の Workflows を運用してみて - Assured Tech Blog
People Modern Data Stack '22 - 左肩上がり
gokart で言語処理100本ノックをやってみる - Qiita
alfredでGoogle翻訳を秒で行う方法 - 楽したい
Dataformでコンパイル変数を使ってみた | DevelopersIO
dbtをDagster Cloudでオーケストレーションする
Airflowで構築したワークフローを検証する - Qiita