GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する | DevelopersIO
GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する こんにちは、CX事業本部 IoT事業部の若槻です。 前回の下記エントリでは、AWS Step Functions LocalによるMockテストをJestで実行してみました。 AWS Step Functions LocalによるMockテストをJestで実行してみた | DevelopersIO 今回は、同じくAWS Step Functions LocalとJestによるState MachineのMockテストをGitHub Actionsで実行してみました。 やってみた 実装のファイル構成は次のようになります。 $ tree . ├── .github │ └── workflows │ └── ci.yml ├── jest.config.js
この記事はMLOps Advent Calendar 2021の18日目の記事です。 2016年にもTensorFlowとMLサービスの2016年の布教活動報告を書きましたが、ここ3年くらいはMLOps系の活動をメインにしてきたので、その報告です。COVID後はイベント登壇も減り、ブログ記事の執筆が多くなりました。その裏話的な内容です。 Feature Store のブログ記事 今年5月のGoogle I/OでVertex AIのMLOps系プロダクトがいくつかリリースされたので、その後にフォローアップのブログ記事を出し始めました。まずは6月にPMのAnandと書いた Kickstart your organization’s ML application development flywheel with the Vertex Feature Store（日本語版）です。 このプロダクト
Check! GitHub Actions: 別のワークフローの実行リクエストまたは完了を契機にワークフローを実行する
Prologue GitHub アクションで、「ワークフローが終わったら/リクエストされたら、実行する」というトリガをご紹介します。 私の例では、このようなニーズに対して対応することができました。 first-workflow.yml: pull_request や push: [main] などのトリガでテストを行うワークフロー実行 second-workflow.yml: main ブランチへ push されたときにだけ、デプロイするための別のワークフローを実行 指定したワークフローを契機に実行されるトリガ workflow_run on.workflow_run は、ワークフローがリクエストされた、または実行完了した契機で呼び出されるトリガです。 workflow_run | Events that trigger workflows - GitHub Docs イベントタイプは c
というような感じになっていて、目的や供与可能なコスト分を考えながらここらへんをうまいこと組み合わせてデータ基盤というのは構築される。 最近では多くの企業でデータエンジニアというポジションが募集されており、データエンジニアは何をしているかというとここらへんの構築・整備を行う。 正直なところデータエンジニアの仕事というのはエンジニアリング的に難しいことは何もなくて、基本的に社内政治に振り回されながら泥臭い作業を行うだけの妖怪になるという悲しい役割に終始するのだけれど、ひとまず業務としてはワークフローエンジンの整備を行う。 ワークフローエンジンに何を使うかについては結構トレンドがあり、少し前(だいたい5年前とか？)はDigdagを使うのが主流だったのだけれど最近はユーザーも離れてしまいあまり開発も活発ではなくなってしまっており(DigdagはJavaで作られているのだが最近のLog4jの問題が発
バッチ処理系の刷新とArgo Workflow移行
これはPTAアドベントカレンダーの7日目の記事です。 5年間運用されてきたバッチ処理系を刷新し、Argo Workflowを用いたバッチ処理系に移行したのでその紹介記事です。 背景 GKE上でバッチ処理のワークロードを実行しており、ワークフローエンジンとしてDigdagを採用していました。ユースケースとしては定期実行のバッチ処理、ETL、機械学習等。 Digdagを用いたワークフロー定義はシンプルかつ運用に必要な機能を提供してくれています。実際のワークフロー内部の処理としては、ワークフローの各タスクにおいては基本的にはロジックは持たずKubernetes Jobの実行のみを行います。そのためにDigdagとKubernetes Job間で協調動作するための仕組みが独自で用意されていました。このようなバッチ処理系が約5年程運用されてきました。 この仕組で今まで元気に動いてはいたのですが次のよ
ミツモアを支えるデータ分析基盤あるいはStitchとdbtを用いたELTについて - ミツモア Tech blog
※ こちらはミツモアAdvent Calendar 2021の12/20分の記事です。 こんにちは、ミツモアCTOの柄澤（@fmy）です。今回は、ちょうど1年半前ぐらいに整備したミツモアデータ分析基盤についてご紹介いたします。（記事にするのが遅くなってすみません） 全体像 ミツモアのデータパイプラインの全体像は以下のようになっています。 ミツモアのデータパイプライン このパターンはETL（Extract / Transform / Load）ではなくELTと言われ、ExtractとLoadを行ったのちに、データウェアハウスの中でTransformを実施する戦略となっています。BigQueryに代表される今日のデータウェアハウスは膨大なデータを保持し、大量の並列処理を可能とする能力があるので、一旦データウェアハウスにあらゆるデータを入れたのちに、自由にデータの変換処理をする方が筋が良いように
OCHaCafe Season5 #6の資料です．
Vertex AI PipelinesとKubeflow Pipelinesはじめの一歩 | DevelopersIO
Vertex AI Pipelinesを全く使ったことがない人向けに、Kubeflow Pipelinesのはじめ方からまとめてみました。 データアナリティクス事業本部 機械学習チームの鈴木です。 この記事は、ブログリレー『Google CloudのAI/MLとかなんとか』の１本目の記事になります。 そろそろVertex AIもマスターしないとなと思い、Vertex AI Pipelinesをキャッチアップしています。同僚のじょんすみすさんが以前に以下の『Vertex AIではじめるKubeflow Pipelines』を公開してくれていました。 私はBigQueryなどのデータ分析系のサービスの経験が厚く、Vertex AI PipelinesおよびKubeflow Pipelinesを触るのが初めてだったため、Kubeflow Pipelinesとはなんぞやから始める必要がありました。
データ処理パイプラインの Argo Workflows 移行を検討した話 - freee Developers Hub
AirflowからArgo Workflowsへ freee の AI ラボというチームでエンジニアをしている id:nagomiso と⾔います。好きな飲み物はストロング系チューハイです。オススメはキリン・ザ・ストロングのコーラサワーと SAPPORO 99.99 のクリアレモンです。 さて, あまりイメージがないかも知れませんが実は freee の AI ラボでは機械学習やデータを活用したサービスの検討・開発だけではなく, 開発や運用を効率的に行うためのインフラ整備にも取り組んでいます。（取り組みの一部は 開発スピードを止めない機械学習インフラ基盤――freeeに学ぶAI開発で本質的価値を提供する方法 でも紹介しています） こうしたインフラ整備の一環としてデータ処理パイプラインの Argo Workflows 移行を進めているので今回はその話をしようと思います。 動機 もともと AI
[dbt] custom schemaを使って普段とは別のスキーマ下にデータモデルを作成する | DevelopersIO
大阪オフィスの玉井です。 今回は下記の機能を使ってみたので、ご紹介します。 dbtはどこにデータモデルを作るのか？ dbtはELTの「T」を担当するツールということで、分析に最適化されたテーブルやビューを簡単に構築することができる…というのは、dbtを調べたり触ったりしたことがある方はわかると思います。 では、その「分析に最適化されたテーブルやビュー」というのは、どのDB・どのスキーマに作られるのでしょうか。 ざっくりいうと最初の設定で指定した場所に作られる DBについては、Projectを作成するときに、対象のDWHの接続情報を設定しますが、そのときに指定した場所になります。ついでに、スキーマも合わせて設定できますが、こちらは接続情報として設定するのではなく、ユーザー毎に持つ「開発用の資格情報」として設定します。 「なんでこの設定こんな分かれ方してんの？」って思っちゃいますが、「どのスキ
![[dbt] custom schemaを使って普段とは別のスキーマ下にデータモデルを作成する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6172dee51c84ef7822379d7334691c90332d7023/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F08%2Fd72f41d6eb099a8fa0ef2791ad2b18a7.png)
この記事は「Eureka Advent Calendar 2020」の16日目の記事です。 こんにちは、Head of BIの鉄本です。 15日目は Jun Ernesto Okumuraによるエウレカのデータ組織運営の1年間でした。今日はこの話に関連して、もう少し具体的にEureka BIチームのAnalystの分析フローを支える分析環境について書きます。主に運用の思想や仕組みづくりの紹介になります。 想定読者Data Lake・Data Ware House・Data Martなどのデータ基盤周辺知識があるAnalystを活かすデータ基盤の開発運用に興味がある前置きBIチームの紹介やAnalystの業務フローに関する前置きが少し長くなりますがお付き合いくださいませ。 お急ぎの方は、本題まで飛ばしてください。 チームのミッションとデータ基盤BIチームは、「価値のある意思決定」と「意思決定
はじめに Oktaでは、Okta Identity Platformという安全安心にアイデンティティ管理を行うことができるプラットフォーム機能群が提供されています。具体的には、以下に列記するように、Okta Identity Platformを構成する要素として以下の6つの機能を提供しています（参考：Okta社ウェブサイト）。 Directories Integrations Insights Identity Engine Workflows デバイス 今回は、6つの機能の中でも比較的新しい、2020年3月に開催されたOktane 20で発表され提供されているOktaのWorkflows機能についてご紹介いたします。 このWorkflowsはその名の通り、任意のワークフローをノーコードで組むことができるOktaのEnterprise向け機能で、IFTTTやZapier、Microsoft
本記事では、様々なシステムからデータを収集・蓄積・加工してデータ分析用に提供するデータパイプラインにおいて、処理の単位を考える上での考慮すべき点をいくつか書き殴ってみようと思います（書き殴りなので重大な抜けはあると思います）。 ここでの処理の単位というのはちょっと曖昧ですが、外部から呼び出されるスクリプトをどの単位で書くかということを指してると思ってください。Airflowを使っていればタスクを、JP1を使っていればジョブをどの単位にするかということと言い換えても良いかもしれません。 処理の単位を決める観点は複数あり、要件や制約に応じて判断するものなので、常にこうすべきという方針があるわけではないことはご了承ください。 1. 想定する処理内容 具体的な例がないと説明しづらいので、以下のようなシステムAとシステムBからデータを取得して、汎用的に分析に利用可能なテーブルを作成し、その後に特定の
[レポート] Spotify社のコンテンツ分析チームがBigQueryのデータ消化不良をdbtで回避した方法 #dbtCoalesce | DevelopersIO
[レポート] Spotify社のコンテンツ分析チームがBigQueryのデータ消化不良をdbtで回避した方法 #dbtCoalesce 大阪オフィスの玉井です。 2022年10月17日〜21日に行われたCoalesce 2022というハイブリッド（オンライン+オフライン）カンファレンスが開催されました。主催はdbt labs社です。 本記事は、その中で発表されたHow the Content Analytics team at Spotify avoids data indigestion in BigQuery with dbtというセッションについて、レポートをお届け致します。 セッション概要 登壇者 Nick Baker Senior Analytics Engineer , Spotify Brian Pei Analytics Engineer, Spotify 超概要 超有名サ
![[レポート] Spotify社のコンテンツ分析チームがBigQueryのデータ消化不良をdbtで回避した方法 #dbtCoalesce | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92d767f59dc710a3833e5937cd5953eae066745d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F10%2Fblog-image2.jpg)
Optuna meetup #1 で使用した資料です．
GitHub - bpmn-io/bpmn-js: A BPMN 2.0 rendering toolkit and web modeler.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに PNGやGIFの圧縮は、ブログ記事やGitHubのPull Requestの実行画像貼り付けとかで割とあります。 自分はTinyPNGやiLoveIMG を利用していましたが、プラウザを開きファイルをアップロード・圧縮しダウンロードという手順が毎回面倒でした。 なので、alfred-imagemin というPNG / JPEG / GIFを手軽に圧縮するAlfred Workflowを作ってみました。 （GIFでも使えるというのが嬉しいポイントです） この記事ではalfred-imageminの概要と、仕組みを紹介します。 ※ Alfred WorkflowはAlfredでAlfred Powerpackを導入済みの方のみ使える機能です。便利なWorkflowで作業効率爆上がりなので、未導入の方はぜひこの機会に！ インストール 以下コマンドでnpmからインストールできます（後述す
概要Alfred は、Mac の多機能ランチャーアプリケーションです。 この記事では、Alfred の機能のひとつ、Alfred Workflows（以下、ワークフロー）を Node.js で作成する方法を説明します。 「alfy」というライブラリを利用すると、Node.js でワークフローをカンタンに作成できます。 環境Alfred 4（Powerpack）Node.js 10ワークフローのしくみワークフロー（要 Powerpack）は、Alfred に割り当てたトリガーや検索ボックスのインプットをもとに、情報を加工し出力します。 たとえば筆者が作成した alfred-kibela-workflow では、次のことを行っています。 ユーザーより、「ワークフローのトリガーワード」＋「キーワード」が入力される入力されたキーワードで、Kibela というサービスのノートを検索するため、API
ArgoCD の Config Management Plugin (CMP)を理解し、Plugin でマニフェストの変数置換を行う - kencharosの日記
概要 前職の同僚がずっと、PullRequest ごとにプレビュー環境でアプリケーションをデプロイしたいと言っていた。 確かにそれができれば便利ではあるけど、たとえ k8s の力を借りても実現するまでの手順は多く、遠い夢かと思っていた。 でも ArgoCD で頑張ればその夢は近くなるかもしれない。 これは、ArgoCDの Config Management Plugin (CMP) と呼ばれる機能を使って、動的なマニフェスト生成を行い、さらにPullRequestごとの固有の情報をマニフェストに柔軟に埋め込むための仕組みを考えてみたという話。 想定読者 k8s にある程度詳しい ArgoCD にもある程度詳しい ArgoCD の ApplicationSet や Generator の機能を知っている、あるいは調べればわかる方 参考資料 GitブランチやPullRequestごとにプレビュ
gokart とは gokart はエムスリーが開発している機械学習パイプラインツール。 Spotify により開発されている luigi のラッパーになっていてより簡単に書くことができる。 NLP の機械学習モデルを開発していると前処理、事前学習、ファインチューニング、可視化などなど工程が多く、管理が大変になる。パイプラインツールを使って楽になりたいということで、言語処理100本ノック2020 Rev2の機械学習パートで試してみる (56, 57, 59は gokart 的に新しい操作がないため飛ばす)。 公式情報として gokart は redshells などと組み合わせて使われることが多いようだが、この記事では gokart 自体の動作の理解のため、他のツールは使わずに実装する。 前準備 gokart がどんなものかまずは公式ドキュメントで動作を確かめてみると良い。 Intro T
最近、作業効率化・自動化にハマっているので、神が作りし神アプリalfredでGoogle翻訳させるやり方書きます。 「alfredって何？」っていう人はこの記事読まないと思うので、この記事では言葉の細かい説明はしません。 前提条件 alfred version4系インスコ済み(多分3でも動く。2は知らない。) power pack購入してactivate済みであること power packはalfredの機能を制限なく使用するために買うやつです。 25ドルと45ドルのやつがありますが、alfred至上主義者の俺は45ドルの方を買いました。 alfredは神アプリなので100ドルでも買う自信があります(威圧)。 やり方 まず、alfred-google-translateっていう下記リポジトリからworkflowファイルをダウンロードします。 https://github.com/xfslo
Prometheus Metricsを使ってArgo WorkflowsのWorkflowの成否をDatadogで監視する - yasuhisa's blog
背景 具体的な設定 コントローラーに設定を生やす workflowを監視するためのカスタムメトリクスを定義する 各workflowに同様のカスタムメトリクスを定義する デバッグ方法 所感 背景 前職に引き続き、現職でもArgo Workflowsを使ってデータエンジニアリング系のバッチ処理を行なっている 以前にCloud Workflowsを調査したことがあったが、まだちょっと厳しい感があった 前職ではCloud Monitoringで監視していたが、現職ではDatadogで監視しているので、全社の体制に合わせてDatadogで監視していきたい Argo WorkflowsはPrometheus Metricsに対応しており、Datadogはagent経由でPrometheus Metricsの収集を容易に行なえることが分かった 同僚のSREであるtapihさんから教えていただいてました、
GitHub - pneumaticapp/pneumaticworkflow: Free and source-available Apache 2.0 licensed lightweight workflow automation tool.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2024-03-05 @Data Engineering Study #23 Data orchestration 特集
Workflows | Google Cloud
Combine Google Cloud services and APIs to build reliable applications, process automation, and data and machine learning pipelines. New customers get $300 in free credits to spend on Workflows. All customers get 5,000 steps and 2,000 external API calls per month, not charged against your credits.
データ基盤の監視 データ基盤は下流の分析・可視化・モデリングの「基盤」となるので、監視は言うまでもなく品質を担保するため重要な存在です。データ基盤監視の考え方についてこの2つの記事が紹介しています。 同じくSQLによるデータ基盤を監視しており、最も大きな違いは自作ツールかAirflowで検証することだけです。本文はAirflowで構築したワークフローの検証についてもう少し紹介したいと思います。 まず、Data Pipelines Pocket Referenceではデータ基盤検証の原則が紹介されました。 Validate Early, Validate Often 要はできるだけ早く、できるだけ頻繁に検証するとのことです。ELTあるいはETL処理においては、Extract, Load, Transformそれぞれのステップが終了した直後に監視するのは最も理想的だと思います。 Transfo
この前はluigiを使ってみてました。 www.nogawanogawa.com この前参加したの勉強会で登壇者のみなさんがgokart激推しだったので、今回はエムスリーさんで開発されているgokartを使ってみたいと思います。 （エムスリーさん主催の勉強会で、登壇者の半分がエムスリーさんだったから激推しなのは当然っちゃ当然なんですが...） なにはともあれ、やってみたいと思います。 gokart cookiecutter-gokart thunderbolt redshells 使ってみる 題材：SCDV フロー luigiでの実装 gokartを使った実装 redshellsを使った実装 github 感想 gokart github.com gokartの説明は、エムスリーさんのブログが非常にわかりやすかったです。 www.m3tech.blog あと、個人的にはこちらの記事も非常に
Argo Workflowsの代替としてのCloud Workflowsの調査 - yasuhisa's blog
夏休みの自由研究です。軽く触ってみました程度の技術調査なので、あまり当てにしないでください...。 Argo WorkflowsからCloud Workflowsへの移行のモチベーション ワークフローエンジン上で動かしている既存のジョブ Cloud Workflowsとは ワークフローを動かしてみる よかったポイント 改善して欲しいポイント 所感 Argo WorkflowsからCloud Workflowsへの移行のモチベーション 仕事やプライベートでデータ基盤や機械学習のワークフローエンジンとして、Argo Workflowsを最近ずっと使っている。単体だと足りない部分も多少あったが、補助のスクリプトを自前で書くことで概ね満足した使い勝手になっている。 一人や少人数のチームで使う分にはいいのだが、Argo WorkflowsはKubernetesネイティブなワークフローエンジンというこ
Cloud Composer（Airflow）で分析者向けBigQuery SQL実行基盤をつくりました - スタディサプリ Product Team Blog
はじめに こんにちは。Data Engineer の @shase です。 弊社ではいくつかのユースケースでCloud Composer（Airflow）を使っているのですが、今回はデータチームで開発している、分析者向けBigQuery SQL実行基盤（社内の通称はSaved Query Workflow）について紹介します。 このシステムは今年の春から動いているものです。 システム概要 今回紹介するシステムの概要です。 分析者はSQLとYAMLをGitHubにコミットしてPRを作成します。 エンジニアがレビューをします。 Cloud ComposerでSQLがスケジュール実行され、結果がGoogle Sheets などに出力されます。 背景 組織全体のKPI集計やレポーティングとは別に、分析者個人や特定のチームが使うテーブルやレポートを定期的に作成する場合を想定したユースケースとして、分
はじめに Airflow Summit は、Apache Airflow のユーザーと開発者のグローバルコミュニティのための年次イベントです。2022年は2回目の開催で、東京では実際に集まって講演を聴講する local event が行われました。 ここ数年、コロナ禍でイベントが一斉にオンライン化され、他の開発者とリアルで会う機会が少なかったので、いい気分転換でしたし、オフラインイベントに参加する重要さ を感じさせられました。開催は Tokyo Apache Airflow Meetup が行い、今後も Airflow に関するイベントを開催していくそうなので、少しでも Airflow に興味があればご参加ください！（僕が会いたい！） 当日の流れ エリア/施設 開催地は品川区にある大崎ブライトコアホールでした。朝から気温と日差しが厳しく、マラソンでもしてきたような汗を掻いた状態で入り口にた
こんにちは。あなただけの彦星になりたい、鹿児島が生んだ三大Hikoの一人、和彦こと、P山 です。 今日はデータ基盤チームで利用しているワークフロー管理プラットフォームのApache Airflow(以降Airflow) で利用しているDAGのCI環境をクラウドネイティブな技術を利用して、リニューアルした実装を紹介します。 DAGというのは Directed Acyclic Graph の略で有向非巡回グラフと訳されます。Airflowではそれぞれのタスクをまとめたものを1つのDAGとして定義します。 多くの方になじみのない言葉でしょうから、この記事内においては「プログラムコード」と脳内変換していただければ読みやすいです。 リニューアル前 データ基盤チームではAirflowの実行基盤としてGCPのCloud Composer を利用しています。 自動テストを行うために、GitHub Acti
Amazon MWAAのローカル環境を簡単構築！aws-mwaa-local-runnerのススメ | DevelopersIO
Amazon MWAA（Amazon Managed Workflows for Apache Airflow）を利用する場合のローカル開発環境として便利なaws-mwaa-local-runnerを紹介します。 こんにちは。サービスグループの武田です。 AWSは多くのマネージドサービスを提供していますが、ではそれを利用する場合の開発環境をどうしようかという課題があります。動作確認は常にAWSで行えばよいという考え方もあります。一方で、たとえばDynamoDBであればDynamoDB Localを使うなどローカルで実行可能な環境を作れる場合もあります。 AWSではAmazon Managed Workflows for Apache Airflow（MWAA）という、Airflowのマネージドサービスを提供しています。今回はMWAAのローカル環境についてです。名前からも分かるとおり中身はA
PyCaretとMLflowで機械学習の実験を簡単に実行・記録する - DATAFLUCT Tech Blog
こんにちは！nakamura（@naka957）です。今回はPyCaretとMLflowを用いたAutoMLと実験記録を連携した活用方法をご紹介します。 今回は様々な機械学習アルゴリズムの比較・モデル実装に加えて、行った実験記録の管理を簡単に行う方法をご紹介します。実施事項がたくさんありますが、PyCaretとMLflowの活用で少ないコード行数で簡単に実施できます。 PyCaretは機械学習モデルの実装を簡単に行えるOSSですが、PyCaretからMLflowを呼び出すこともでき、実験記録の管理も同時に行えます。 【PyCaret】 ■ AutoMLライブラリPyCaretを使ってみた〜モデル実装から予測まで〜 ■【続き】 AutoMLライブラリPyCaretを使ってみた 〜結果の描画〜 【MLflow】 ■ MLflowの使い方 - 機械学習初心者にもできる実験記録の管理 - ■ ML
Windmill is a fast, open-source workflow engine and developer platform. It's an alternative to the likes of Retool, Superblocks, n8n, Airflow, Prefect, and Temporal, designed to build comprehensive internal tools (endpoints, workflows, UIs). It supports coding in TypeScript, Python, Go, PHP, Bash, SQL, or any Docker image, alongside intuitive low-code builders, featuring: An execution runtime for
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![[Rust] 自作言語での TUI デバッガのススメ](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ede71696574ef619411f7f3787d9de8f73803f8/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--PAaNTtma--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BRust%25255D%252520%2525E8%252587%2525AA%2525E4%2525BD%25259C%2525E8%2525A8%252580%2525E8%2525AA%25259E%2525E3%252581%2525A7%2525E3%252581%2525AE%252520TUI%252520%2525E3%252583%252587%2525E3%252583%252590%2525E3%252583%252583%2525E3%252582%2525AC%2525E3%252581%2525AE%2525E3%252582%2525B9%2525E3%252582%2525B9%2525E3%252583%2525A1%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Amsakuta%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EvQUFUWEFKeG5tZ0ZYQlJsZjJpZVh1QWlwOG9LaFdpT2FSczg2dXRzWlcwN3o9czk2LWM%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
MLOps系プロダクトの布教活動報告 - Qiita
Argo Workflowsの設定や文法
MLOpsを始めよう!/MLOps-Getting-Started
Analystのスループットを継続的に最大化させるデータ基盤の運用思想
画像で紹介｜Okta Workflowsとは？ | TC3株式会社｜GIG INNOVATED.
データパイプラインにおける処理の単位 - Qiita
Hydra, MLflow, Optunaの組み合わせで手軽に始めるハイパーパラメータ管理
最速で画像を圧縮するAlfred Workflowを作った - Qiita
Node.js で Alfred Workflows を作る | ひよこまめ
gokart で言語処理100本ノックをやってみる - Qiita
alfredでGoogle翻訳を秒で行う方法 - 楽したい
dbtをDagster Cloudでオーケストレーションする
Airflowで構築したワークフローを検証する - Qiita
gokartを使ってみる - Re:ゼロから始めるML生活
【Airflow Summit 2022 東京】オフライン参加レポ - Qiita
ワークフロー管理プラットフォームのCI環境をクラウドネイティブへ - Pepabo Tech Portal
What is Windmill? | Windmill
ja.wikipedia.org
www.47news.jp
okasanproject.com
toyokeizai.net
www.youtube.com
data-fun.jimdofree.com