並び順

ブックマーク数

期間指定

  • から
  • まで

121 - 160 件 / 204件

新着順 人気順

workflowの検索結果121 - 160 件 / 204件

  • 開発現場におけるコミュニケーションデザイン - Qiita

    これはなに プロダクト開発の現場において、コミュニケーションエラーは非常に大きな障害となります。結論が曖昧であったり、正しい意図を汲み取ることに読解力を要したり、ログとして機能しないようなメッセージを投稿してしまう人は、どうしても存在します。また、いざ自分がそういった厳密性のあるテキストを作ろうとすると思ったよりも難しかった…という経験をされた方もいるのではないでしょうか。 本稿ではSlackによるコミュニケーションにおいて、「なんとなくこういうことに気をつけると抜け漏れない連絡ができる」という項目をチェックリスト的に列挙します。皆さん自身のテキストコミュニケーションであったり、一緒に働くメンバーに対するFBとして機能すれば幸いです。 また、本稿は @fujinumagic さんが書かれていた チャットやメールの文章をないがしろにする人はチーム全体の開発効率に悪影響を与える へのアンサーと

      開発現場におけるコミュニケーションデザイン - Qiita
    • 機械学習パイプラインの要件と Vertex Pipelines / Kubeflow Pipelines V2 による実装

      サンプルパイプライン : https://github.com/reproio/lab_sample_pipelines/tree/main/kfp 解説記事 : https://tech.repro.io/entry/2021/06/22/125113 ハンズオン資料 : https://gist.github.com/AseiSugiyama/d189a43f656a3313837e820bc54f873b

        機械学習パイプラインの要件と Vertex Pipelines / Kubeflow Pipelines V2 による実装
      • ダンボールワンのデータ分析基盤〜dbt導入してみた〜

        背景 ダンボールワンがラクスルグループに加わり、データ分析基盤を整備したのでその事例紹介 ラクスルグループの中で、はじめて dbt を導入してとても良かったので、その部分を中心に紹介 整備前はサービスDBの Read Replica に Redash から接続してデータ分析していた Redash で SQL を書いて分析できるメンバーが限られるため、SQL を書けないビジネス側メンバーも自分で分析できる環境が欲しかった(利用者は30名程度) データ分析基盤構成 Data Warehouse Data Warehouse は BigQuery を採用 ラクスルグループでは Snowflake を採用しているケースもあるが、今回は Googleスプレッドシート や Googleデータポータル といった BI環境との接続性を重視 BI BI環境は Googleスプレッドシートのコネクテッドシート

          ダンボールワンのデータ分析基盤〜dbt導入してみた〜
        • Nature のデータ基盤のご紹介 - Nature Engineering Blog

          Nature でデータエンジニアをしている原( @toohsk )です。 データ分析を行う一方で、Nature に所属しているメンバーが幅広くデータの参照、分析ができるようになるためにデータ分析基盤の構築も行っています。 今回は、Nature で構築しているデータ分析基盤を紹介したいと思います。 どのようなデータ基盤にしたいのか Nature の重要なカルチャーでもありますが、Nature においてProduct Driven で事業が進みます。 speakerdeck.com Nature におけるプロダクトは、スマートフォンのアプリのみならず、ハードウェアやファームウェアなどの開発が含まれます。したがって、一重にエンジニアといえど、得意な技術領域は幅広くなります。また、エンジニア以外のメンバーも含めてサービスのデータにアクセスし、ファクトベースに意思決定できる環境を用意したいと考えてい

            Nature のデータ基盤のご紹介 - Nature Engineering Blog
          • Polyaxon + Kubeflow を利用した効率的な継続的モデルインテグレーション / Continuous ML Model Integration with Polyaxon and Kubefolow Pipelines

            第9回 MLOps 勉強会 Tokyo (Online): https://mlops.connpass.com/event/215133/ でトークした際の資料です

              Polyaxon + Kubeflow を利用した効率的な継続的モデルインテグレーション / Continuous ML Model Integration with Polyaxon and Kubefolow Pipelines
            • 分析の再現性を担保する工夫 - Sansan Tech Blog

              はじめに 技術本部 R&D の小松です。先日、一橋大学の手島健介教授より『経済セミナー』2023年2・3月号をご恵贈いただきました。 www.nippyo.co.jp 手島教授はその中で「米国経済学会データエディター制度の取り組み 再現性向上のためのreplicationチェック」を書かれています。私たちが『経済セミナー』にて「実証研究マネジメントのためのツールキット」の連載時に、手島教授を始めとした研究者の皆さんに草稿を確認いただいたのですが、このトピックはその際に出た議論をまとめられたものです。 そこでは手島教授が体験した、採択された研究論文の再現性チェックのプロセスが事細かに書かれており、興味深いです。現在 AEA P&P のために replication code を準備している私たちにとっても、大変参考になっています。 その中で論文の筆者として行うべきこととして、以下の4点が挙げ

                分析の再現性を担保する工夫 - Sansan Tech Blog
              • dbt の導入、毎日30分の輪読会でチームに浸透させる - Techtouch Developers Blog

                テックタッチアドベントカレンダー15 日目担当の teru です。今年の個人的ベスト家電はスマートフォンで見れるネットワークカメラでした。子ども達が寝室で寝ている様子を確認しながら家事ができるのでとても便利です。 きっかけ 輪読会の準備 輪読会の実施 やってみてどうだったか 良かった点 気になった点 終わりに きっかけ 13 日目の記事 でも触れているように、弊社でデータ分析基盤のモデリング用途に dbt の利用が始まりました。私の所属する分析運用チームでもこの流れに乗って、dbt を使って分析業務に関わる範囲のデータテーブル構築を自分たち自身で行えるように取り組むことにしました。 分析運用チームには、この記事を書いている時点で私を含む 2 名が在籍していました。二人とも BI ツールを用いて SQL クエリを書いたりレポートを作成したりといったデータアナリストの業務経験はありましたが、d

                  dbt の導入、毎日30分の輪読会でチームに浸透させる - Techtouch Developers Blog
                • GitHub - meirwah/awesome-workflow-engines: A curated list of awesome open source workflow engines

                  Activepieces - Open source no-code business automation, alternative to Zapier Airflow - Python-based platform for running directed acyclic graphs (DAGs) of tasks Argo Workflows - Open source container-native workflow engine for getting work done on Kubernetes Arvados - Open Source data and workflow management platform with emphasis on reproducibily, scale, and secure data sharing, deployable on cl

                    GitHub - meirwah/awesome-workflow-engines: A curated list of awesome open source workflow engines
                  • フロントエンド刷新プロジェクトの開発サイクルを加速するデプロイパイプラインの改善 - Cybozu Inside Out | サイボウズエンジニアのブログ

                    フロントエンド刷新プロジェクトの開発サイクルを加速するデプロイパイプラインの改善 この記事は Cybozu Advent Calendar 2022 の 19 日目の記事です。 18 日目はこちら → チームメトリクスと感情データを活用した「ふりかえり」の手引き 20 日目はこちら → エンジニアとの距離が近くなっていいことたくさんだったQAの話 こんにちは!! kintone フロントエンドリアーキテクチャプロジェクト (フロリア)のAppShell チームでプロダクトオーナーをしている tasshi です。 kintone フロントエンドリアーキテクチャプロジェクト (フロリア)、およびAppShellチームについてはこちらの記事をご覧ください。 今回はフロリアの開発で利用しているテスト環境へのデプロイパイプラインを紹介します。 目次 フロントエンド刷新プロジェクトの開発サイクルを加速

                      フロントエンド刷新プロジェクトの開発サイクルを加速するデプロイパイプラインの改善 - Cybozu Inside Out | サイボウズエンジニアのブログ
                    • 本番環境に移行しやすいMLエンジニアリング

                      概要 機械学習アルゴリズムを実装する企業研究者やデータサイエンティストが、本番環境に移行しやすい機械学習コードを書くための Tips を紹介します。 私は、最近、機械学習アルゴリズムの実装だけでなく、それを本番環境に載せる作業もするようになったので、その際に「 こうしておけば本番環境への移行が楽だったな 」と思ったことをまとめました。 「自分はエンジニアじゃないから細かいことはいいや」と思われる方にも以下のメリットがあると思います。 エンジニアへの負担が減り、早くリリースすることができ、研究者またはデータサイエンティストとしての社内での評価や信頼を獲得しやすくなる 信頼を獲得できれば、次の仕事を回してもらいやすくなる、という好循環が生まれる 自分自身の生産性や開発体験が向上するので、より早く実験サイクルを回せる 再利用性や再現性などを上げることができ、コードを公開したときに多くの人に使って

                        本番環境に移行しやすいMLエンジニアリング
                      • DynalystにおけるMLワークフローへのPrefect導入事例

                        第30回 MLOps 勉強会の資料 https://mlops.connpass.com/event/276894/

                          DynalystにおけるMLワークフローへのPrefect導入事例
                        • Airflow の流れを制す - kencharosの日記

                          最近バックグラウンドのジョブスケジューラとして使用しているのが、 Apache Airflow だ。 https://airflow.apache.org/ Pythonで複数ジョブ(Operator)の依存関係をDAGとしてDSL的に書けるのは魅力的だが、 一方でスケジューラーとしては、UI付きのcronだと思っていたら相当なハマりどころを感じたので、 同じくハマりそうな人や将来の自分に向けてAirfronのスケジューリングの知見を残しておきたいというのが趣旨。 TL;DR 以下の通り、ちゃんと公式でも書いてあるが、正直なところ自分でやってみないとわかりづらく、 ちゃんと補足してある資料があったので紹介しておく。 自分で試しつつ、以下の資料と照らし合わせて自分の認識が一致したことを再確認した。 airflow.apache.org towardsdatascience.com Airfl

                            Airflow の流れを制す - kencharosの日記
                          • What to know about the Siri Shortcuts beta – Matthew Cassinelli

                            With about 2,500 words and 24 screenshots, I covered everything that’s new in the betas so far for iMore Yours truly, writing for iMore: For this update, Apple reworked some the fundamentals of Siri Shortcuts, taking the Shortcuts app’s powerful actions and offering those capabilities to other apps on the App Store. Plus, they all work fully in Siri, marking another step forward in Apple’s voice s

                              What to know about the Siri Shortcuts beta – Matthew Cassinelli
                            • GitHub - step-security/secure-repo: Orchestrate GitHub Actions Security

                              You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                GitHub - step-security/secure-repo: Orchestrate GitHub Actions Security
                              • dbtで作成したデータモデルをそのまま可視化に使えるBIツール「Lightdash」を使ってみた | DevelopersIO

                                大阪オフィスの玉井です。 今回は、dbtにネイティブ対応しているBIツールを紹介します。 Lightdashとは 名前の通り、ライトなBIツールなのですが、接続先がDWHではなく、dbtプロジェクトなのが特徴です。 dbtを使う理由の1つに、BIツールで分析しやすいデータを用意する、というものがあると思います。普通は、dbtを通してDWH上にできたテーブルやビューを、別途BIツールで接続して利用します。しかし、Lightdashは、DWHを介すのではなく、直接dbtのコードを利用して可視化を行います(裏側としては、dbtのコードを利用して、dbtの後ろにあるDWHにクエリを実行するようになっています)。 やってみた 今回はローカルで試します。OSSなので無料です(有料版については後述)。 環境 macOS 11.5.2 dbt CLI 0.20.1 docker 20.10.8 dbtを接

                                  dbtで作成したデータモデルをそのまま可視化に使えるBIツール「Lightdash」を使ってみた | DevelopersIO
                                • Airflowに関する個人的FAQ | DevelopersIO

                                  Airflowを触っていて個人的にハマったことなどをFAQ形式でまとめてみました。全然Frequentlyじゃない気がするのはきっと気のせいです。 Airflowを触っていて個人的にハマったことなどをFAQ形式でまとめてみました。全然Frequentlyじゃない気がするのはきっと気のせいです。 以下、バージョンは本記事公開時の最新 1.10.2 です。 インストール インストールが失敗するのですが? 普通に pip install apache-airflow とすると以下のエラーで失敗します。 RuntimeError: By default one of Airflow's dependencies installs a GPL dependency (unidecode). To avoid this dependency set SLUGIFY_USES_TEXT_UNIDECOD

                                    Airflowに関する個人的FAQ | DevelopersIO
                                  • CeleryによるPythonベース非同期タスク処理

                                    はじめに 例えば機械学習モデルを運用する際に、WebAPI形式で予測を提供するのは一般的な方法と言えます。ここで推論処理に時間がかかる場合には、リクエストに対するレスポンスだけ先に返しておき、処理の本体はバックグラウンドで非同期的に実行するという選択肢が存在します。 本記事では、Pythonベースの分散タスクキューツールであるCeleryを用いて、WebAPIへのリクエストに対応したタスクを非同期実行し、結果を確認するまでを紹介します。サンプルコードは以下に配置しました。 Celeryとは 公式ドキュメントの冒頭には以下のように書かれています。 Celery is a simple, flexible, and reliable distributed system to process vast amounts of messages, while providing operation

                                      CeleryによるPythonベース非同期タスク処理
                                    • FlowGPT - The Ultimate Library of ChatGPT Prompts | Discover, Share, and Discuss with a Vibrant Community

                                      The best ChatGPT prompts & Bots StoreFIND & USE THE BEST PROMPT

                                        FlowGPT - The Ultimate Library of ChatGPT Prompts | Discover, Share, and Discuss with a Vibrant Community
                                      • ヤフーの全社共通レコメンドプラットフォームでのMLOpsの取り組み #mlopsコミュニティ | ドクセル

                                        スライド概要 「第27回 MLOps 勉強会」で発表した内容になります。 https://mlops.connpass.com/event/270245/ 社内で利用されている全社共通レコメンドプラットフォームでのモデル開発の効率化や品質向上に関するMLOpsの取り組みの紹介

                                          ヤフーの全社共通レコメンドプラットフォームでのMLOpsの取り組み #mlopsコミュニティ | ドクセル
                                        • Windmill

                                          Turn scripts into auto-generated UIs, APIs and cron jobs. Compose them as workflows or data pipelines. Build complex, data-intensive apps with ease. Write and deploy software 10x faster, and run it with the highest reliability and observabilty on the fastest self-hostable job orchestrator.

                                          • Workflow examples | Slack Tips

                                              Workflow examples | Slack Tips
                                            • sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた | Democratizing Data

                                              データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。 自分がこの言葉を知ったのは、前職でCloudera Navigatorという製品を扱ったときにこの機能が実装されていることを知りました。 引き継いだ複雑なSQLなどのワークフローを渡されたときに、どういう流れになっているのかを可視化できるのがとても魅力でした。 Cloudera Navigatorのlineage。 https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cn_lineage_generation.html よりそんなlineageですが、Pythonの sqllineage というパッケージで分析・可視化できることを知りました。 sqllineage は Pythonで実装されているSQLのlin

                                                sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた | Democratizing Data
                                              • Data Lineage したい - satoshihirose.log

                                                条件 現職で管理している現行のデータパイプラインである Treasure Workflow(managed digdag on TD)+ Presto に適用できること ウェブでメタデータのドキュメントが公開でき、社内に共有できること Data Lineage 的なデータの依存関係がわかること dbt dbt は構築したプロジェクトとその内部のクエリを元にドキュメントを自動で生成してくれる。データの依存関係のDAGを可視化してくれるようで、良さそう。dbt docs serve というドキュメントサイトをホストする機能も提供しているが、現時点では本番稼働を想定していないものらしい。その代わりに dbt Cloud を使う、生成したドキュメントを S3 でホストするなどの方法を推奨している。 The dbt docs serve command is only intended for lo

                                                  Data Lineage したい - satoshihirose.log
                                                • Arize Phoenixで始めるお手軽RAG実験管理 - Re:ゼロから始めるML生活

                                                  最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。 RAGアプリケーションと評価 RAGアプリケーションの評価 Arize Phoenix 類似ツール 使ってみる Tutorial ローカルでの管理 参考文献 感想 RAGアプリケーションと評価 Retrieval-Augmented Generation (RAG)は、LLMに外部の知識ソースからの追加情報を提供することで、LLM自体が知らない知識を補い、より正確で文脈に沿った答えを生成するアプリケーションです。 大まかには下記のような流れで動作します。 ユーザーからのクエリをもとに関連するドキュメントを検索 (retrieve) ユーザーのクエリ、関連するドキュメントを含めた形でプロンプトを動的に作成 (Aug

                                                    Arize Phoenixで始めるお手軽RAG実験管理 - Re:ゼロから始めるML生活
                                                  • MLflow Tracking を用いた実験管理 / ayniy-with-mlflow

                                                    「atmaCup#5 振り返り会」での発表資料 - connpass: https://atma.connpass.com/event/178585/ - Competition GitHub: https://github.com/upura/atma-comp05 - Ayniy GitHub: https://github.com/upura/ayniy - Ayniy documentation: https://upura.github.io/ayniy-docs/ - YouTube: https://youtu.be/b-YogiJA9XA

                                                      MLflow Tracking を用いた実験管理 / ayniy-with-mlflow
                                                    • Embulk と Argo でデータ転送する|0gura

                                                      こんにちは、株式会社アトラエで wevox のエンジニアをしている小倉といいます。この記事では、Embulk と、Argo を含む Kubernetes の周辺ツールを使った弊社のデータ転送環境を紹介していきます。 RDS から BigQuery へのデータ転送 wevox ではデータベースとして AWS Aurora(MySQL)を利用しています。データ分析環境としては GCP を利用しており、Aurora から BigQuery にいくつかのテーブルを転送するために Embulk の利用をはじめました。 Embulk 自体は ETL ツールとしては王道であり検索すれば情報もたくさん出てくるので多くは記述しません。インプットプラグインには embulk-input-mysql を、アウトプットプラグインには embulk-output-bigquery を使っています。 Embulk と

                                                        Embulk と Argo でデータ転送する|0gura
                                                      • [レポート] dbtウェビナー『What is dbt?データ基盤にdbtが必要な3つの理由』を開催しました! #dbt_classmethod | DevelopersIO

                                                        [レポート] dbtウェビナー『What is dbt?データ基盤にdbtが必要な3つの理由』を開催しました! #dbt_classmethod 2023年03月14日(火)、モダンデータスタック(MDS)を構成するサービスの1つであるdbtにちなんだイベント『What is dbt?データ基盤にdbtが必要な3つの理由』を開催しました。モダンデータスタック及びdbtに関しては下記ページをご参照ください。 このイベントはオンライン(Livestormによる配信)及びオフライン(弊社クラスメソッド岩本町オフィス)でのハイブリッド開催となりました。オフライン開催分については諸々状況を鑑みて少数招待に留める形となりましたが、オンライン開催分に関しては定員数250人を超える参加申し込みがありました。これは嬉しい状況でした。 当日のTwitterつぶやきまとめはこちらです。 当エントリでは会場の模様

                                                          [レポート] dbtウェビナー『What is dbt?データ基盤にdbtが必要な3つの理由』を開催しました! #dbt_classmethod | DevelopersIO
                                                        • dbtのセマンティックレイヤーは一度書けば、どこでもクエリから使えるようになる

                                                          先日、dbtの公式から以下のような記事が投稿されました。 非常に興味深い内容だったので、多くの人にみてもらいたくひとまず翻訳記事をぱっと書いてみます。 サマリ ビジネスメトリクスの管理を特定のプロダクトから開放し、バージョン管理下に置きながら様々なBIから利用できるようにしようとしている取り組み(ヘッドレスBI) BI

                                                            dbtのセマンティックレイヤーは一度書けば、どこでもクエリから使えるようになる
                                                          • ヘルパを使ってLuigiワークフローの依存関係をスッキリ書こう! - ロコガイド テックブログ

                                                            みなさん、ととのってますか〜? 最近サウナにどっぷりハマってしまった id:ar_tama です。このエントリは名古屋・栄のサウナラボで サ活 リモートワークをしながら書いています。 さて、最近ロコガイドでは社内の業務改善として、今まで手動で行っていた業務を自動化するプロジェクトが行われており、そのワークフロー管理にPython・Luigiを用いています。 日本語では2016~2017年のエントリが多く見られ、最近のアップデートに関する(日本語の)記述が少なく感じたため、何回かに分けて知見を書き溜めていこうと思います。 ※ このエントリは主にこちらの ドキュメント の焼き直し+αです。 更に理解が深まるはずなので、ぜひ併せて読んでみてください:) パラメータ爆発をなんとかしたい 以下の例(ドキュメントから抜粋)では、TaskCを起点としたワークフローで受け取ったパラメータを、TaskB→T

                                                              ヘルパを使ってLuigiワークフローの依存関係をスッキリ書こう! - ロコガイド テックブログ
                                                            • Redshift Federated Query for RDS/Aurora MySQL をつかったType-2 Slowly Changing Dimensionの実装 - KAYAC engineers' blog

                                                              こんにちは。技術部の自称データエンジニアの池田です。 Redshift Federated Query for RDS/Aurora MySQL(Federated Query for MySQL)がめでたくGAになりました。 Federated Query for MySQLを使うと、RedshiftからAurora MySQLにクエリを発行し、その結果をRedshift上で利用することができます。 今回は、この機能を使ったType-2 Slowly Changing Dimension(SCD2) の実装の話をします。 aws.amazon.com TL;DR Change Data Capture(CDC)を実装・運用するほどじゃないけど、State Sourcingなテーブルの変更履歴を追跡したいときには、SCD2を使うと嬉しいです。 Federated Query for MyS

                                                                Redshift Federated Query for RDS/Aurora MySQL をつかったType-2 Slowly Changing Dimensionの実装 - KAYAC engineers' blog
                                                              • Data Transformation in Digdag

                                                                ワークフローエンジンのDigdagを使ったELT、特にT(Transform)に関する問題について、Digdagのジョブ定義をうまく活用しながら解決する方法について、TimeTree社の取り組みをご紹介します。 また、弊社のようにデータ基盤チームがまだないスタートアップでのTransfomの難しさとの向き合い方も、一例としてお話しします。

                                                                  Data Transformation in Digdag
                                                                • データ ウェアハウスを BigQuery に移行するなら、Dataform による BigQuery UDF の単体テストを実施しましょう | Google Cloud 公式ブログ

                                                                  データ ウェアハウスを BigQuery に移行するなら、Dataform による BigQuery UDF の単体テストを実施しましょう ※この投稿は米国時間 2021 年 10 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。 BigQuery への移行時には、BigQuery ネイティブ関数の充実したライブラリを利用して分析ワークロードを強化できます。既存の関数は、独自のユーザー定義関数(UDF)で拡張することも可能です。人間誰しもミスをするものなので、単体テストを作成して UDF が正しく動作するかを検証することをおすすめします。Dataform のコマンドライン ツールはこのニーズを満たし、すべての UDF の単体テストをプログラムで実行できるようにします。 2020 年に Google Cloud が買収した Dataform は、BigQuery

                                                                    データ ウェアハウスを BigQuery に移行するなら、Dataform による BigQuery UDF の単体テストを実施しましょう | Google Cloud 公式ブログ
                                                                  • GitHub - harshadmanglani/polaris: Polaris: High performance workflow orchestrator for Golang

                                                                    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                      GitHub - harshadmanglani/polaris: Polaris: High performance workflow orchestrator for Golang
                                                                    • [GitHub Actions]actions/cache&pipenv&pytestの組み合わせを正常動作するまで検証&修正した記録 | DevelopersIO

                                                                      はじめに GitHub ActionsのWorkflowにて、pipenvを使いつつcache化させて効率よく動かす、ということをされている方は多いと思われます。私自身、担当プロジェクトにて効率よく動かしている、と思っていました。一応キャッシュはしていたものの、キャッシュを無視して毎回インストールするフローになっていたのは不覚の極みでした。 正常にキャッシュされているかどうかの見極めと、pipenvとactions/cacheを併用したpytestの動作例をまとめました。 正常にキャッシュされているかどうかを見極める セルフホストしていない限りは、ActionsのWorkflowログが確認の全てです。 キャッシュキーが意図した通りになっているか確認する actions/cacheにて生成を想定するキーは恐らく次のような構成でしょう。 Linux-pipenv-8772fa24c3defb2

                                                                        [GitHub Actions]actions/cache&pipenv&pytestの組み合わせを正常動作するまで検証&修正した記録 | DevelopersIO
                                                                      • Netflix開発のMLワークフローツール,Metaflowを試してみた【概要編】 - Qiita

                                                                        Netflixから機械学習ワークフロー管理用のPythonライブラリ,Metaflowがリリースされました。 これを使うと, データ処理・モデル構築プロセスを統一フォーマットで記述でき,全体のフローを追いやすい モデル・前処理工程のバージョン管理ができる AWS環境上での分散処理が可能 といったメリットがあります。 気になる人は,tutorialを動かしつつ公式ドキュメントに目を通してみましょう。 Tutorialについては,pip install metaflowでライブラリを入れた後, とするだけで一式揃いますので,気軽に試すことができます。 本記事では,ざっくりとした機能概要と使い方をまとめていきたいと思います。 ライブラリ概要 Metaflowでは,データ処理や機械学習モデル構築・予測のワークフローをPythonのクラスとして定義し,コマンドラインから実行します。 その際実行の都度

                                                                          Netflix開発のMLワークフローツール,Metaflowを試してみた【概要編】 - Qiita
                                                                        • GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する | DevelopersIO

                                                                          GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する こんにちは、CX事業本部 IoT事業部の若槻です。 前回の下記エントリでは、AWS Step Functions LocalによるMockテストをJestで実行してみました。 AWS Step Functions LocalによるMockテストをJestで実行してみた | DevelopersIO 今回は、同じくAWS Step Functions LocalとJestによるState MachineのMockテストをGitHub Actionsで実行してみました。 やってみた 実装のファイル構成は次のようになります。 $ tree . ├── .github │ └── workflows │ └── ci.yml ├── jest.config.js

                                                                            GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する | DevelopersIO
                                                                          • Dataformを使ってデータ分析基盤を構築した話 - Leverages データ戦略ブログ

                                                                            はじめに こんにちは。レバレジーズ データ戦略室の辰野です。 前回の投稿からいつの間にか1年以上経過していました。引き続きデータマネジメントやデータガバナンスに関連する仕事をしていたのですが、今回は私が昨年度末に取り組んだ、Dataformを利用したデータ分析基盤の構築についてお話させていただきます。 Dataformとは Dataformとは、現在Google Cloudで利用できるデータモデリングツールの一つです。ELT(抽出、読み込み、変換)処理における、T(変換)の部分を管理できます。主な機能として、下記があります。 SQLワークフローを開発、実行できる テーブル同士の依存関係を管理できる テーブルの品質テストができる これらの機能を利用することで、すべてのデータプロセスを管理することが可能です。 (参考:Google Cloud,Dataform の概要) Dataformを導入

                                                                              Dataformを使ってデータ分析基盤を構築した話 - Leverages データ戦略ブログ
                                                                            • MLOps系プロダクトの布教活動報告 - Qiita

                                                                              この記事はMLOps Advent Calendar 2021の18日目の記事です。 2016年にもTensorFlowとMLサービスの2016年の布教活動報告を書きましたが、ここ3年くらいはMLOps系の活動をメインにしてきたので、その報告です。COVID後はイベント登壇も減り、ブログ記事の執筆が多くなりました。その裏話的な内容です。 Feature Store のブログ記事 今年5月のGoogle I/OでVertex AIのMLOps系プロダクトがいくつかリリースされたので、その後にフォローアップのブログ記事を出し始めました。まずは6月にPMのAnandと書いた Kickstart your organization’s ML application development flywheel with the Vertex Feature Store(日本語版)です。 このプロダクト

                                                                                MLOps系プロダクトの布教活動報告 - Qiita
                                                                              • データオーケストレーションツールのDagsterを使ってみた | DevelopersIO

                                                                                大阪オフィスの玉井です。 dbt界隈の人たちがこぞって推奨している(ように思える)ツールであるDagsterを使ってみました。 Dasterとは? 公式の紹介文を引用します。 Dagster is a data orchestrator. It lets you define pipelines (DAGs) in terms of the data flow between logical components called solids. These pipelines can be developed locally and run anywhere. 「データオーケストレーター」と言われると、なかなかピンときませんが、ジョブ管理ツールの一種と思っていただければわかりやすいと思います(Apache Airflow等と同じカテゴリ)。データパイプラインの開発はもちろん、一連の処理の運用

                                                                                  データオーケストレーションツールのDagsterを使ってみた | DevelopersIO
                                                                                • Check! GitHub Actions: 別のワークフローの実行リクエストまたは完了を契機にワークフローを実行する

                                                                                  Prologue GitHub アクションで、「ワークフローが終わったら/リクエストされたら、実行する」というトリガをご紹介します。 私の例では、このようなニーズに対して対応することができました。 first-workflow.yml: pull_request や push: [main] などのトリガでテストを行うワークフロー実行 second-workflow.yml: main ブランチへ push されたときにだけ、デプロイするための別のワークフローを実行 指定したワークフローを契機に実行されるトリガ workflow_run on.workflow_run は、ワークフローがリクエストされた、または実行完了した契機で呼び出されるトリガです。 workflow_run | Events that trigger workflows - GitHub Docs イベントタイプは c

                                                                                    Check! GitHub Actions: 別のワークフローの実行リクエストまたは完了を契機にワークフローを実行する

                                                                                  新着記事