Argo Workflowsの代替としてのCloud Workflowsの調査 - yasuhisa's blog
夏休みの自由研究です。軽く触ってみました程度の技術調査なので、あまり当てにしないでください...。 Argo WorkflowsからCloud Workflowsへの移行のモチベーション ワークフローエンジン上で動かしている既存のジョブ Cloud Workflowsとは ワークフローを動かしてみる よかったポイント 改善して欲しいポイント 所感 Argo WorkflowsからCloud Workflowsへの移行のモチベーション 仕事やプライベートでデータ基盤や機械学習のワークフローエンジンとして、Argo Workflowsを最近ずっと使っている。単体だと足りない部分も多少あったが、補助のスクリプトを自前で書くことで概ね満足した使い勝手になっている。 一人や少人数のチームで使う分にはいいのだが、Argo WorkflowsはKubernetesネイティブなワークフローエンジンというこ
Cloud Composer（Airflow）で分析者向けBigQuery SQL実行基盤をつくりました - スタディサプリ Product Team Blog
はじめに こんにちは。Data Engineer の @shase です。 弊社ではいくつかのユースケースでCloud Composer（Airflow）を使っているのですが、今回はデータチームで開発している、分析者向けBigQuery SQL実行基盤（社内の通称はSaved Query Workflow）について紹介します。 このシステムは今年の春から動いているものです。 システム概要 今回紹介するシステムの概要です。 分析者はSQLとYAMLをGitHubにコミットしてPRを作成します。 エンジニアがレビューをします。 Cloud ComposerでSQLがスケジュール実行され、結果がGoogle Sheets などに出力されます。 背景 組織全体のKPI集計やレポーティングとは別に、分析者個人や特定のチームが使うテーブルやレポートを定期的に作成する場合を想定したユースケースとして、分
はじめに Airflow Summit は、Apache Airflow のユーザーと開発者のグローバルコミュニティのための年次イベントです。2022年は2回目の開催で、東京では実際に集まって講演を聴講する local event が行われました。 ここ数年、コロナ禍でイベントが一斉にオンライン化され、他の開発者とリアルで会う機会が少なかったので、いい気分転換でしたし、オフラインイベントに参加する重要さ を感じさせられました。開催は Tokyo Apache Airflow Meetup が行い、今後も Airflow に関するイベントを開催していくそうなので、少しでも Airflow に興味があればご参加ください！（僕が会いたい！） 当日の流れ エリア/施設 開催地は品川区にある大崎ブライトコアホールでした。朝から気温と日差しが厳しく、マラソンでもしてきたような汗を掻いた状態で入り口にた
Dataformのチーム開発環境を考える
この記事はdatatech-jp Advent Calendar 2022の12日目の記事となります。 はじめに DataformがGCPIntegratedPreviewとして公開されました。 チーム開発を考えた時、dbtのSaaS版では$50/Monthかかりますが、Dataformは無料*のため非常にリーズナブルです。 *ただし、当然BigQueryのクエリコストなどはかかってきます しかし、このGCP版ですがPreview版のためチームで運用するにはまだ少し課題があると感じています。この記事ではその課題感と、それに対して暫定的にどういう対応をとっているのかを共有したいと思います。 Dataformとは ELT[1]を実現してくれるツールです。元々はSaaS版が公開されていましたが、2020年にGoogleに買収されGCPへのインテグレーションが進められており[2]、現在SaaS版は
こんにちは。あなただけの彦星になりたい、鹿児島が生んだ三大Hikoの一人、和彦こと、P山 です。 今日はデータ基盤チームで利用しているワークフロー管理プラットフォームのApache Airflow(以降Airflow) で利用しているDAGのCI環境をクラウドネイティブな技術を利用して、リニューアルした実装を紹介します。 DAGというのは Directed Acyclic Graph の略で有向非巡回グラフと訳されます。Airflowではそれぞれのタスクをまとめたものを1つのDAGとして定義します。 多くの方になじみのない言葉でしょうから、この記事内においては「プログラムコード」と脳内変換していただければ読みやすいです。 リニューアル前 データ基盤チームではAirflowの実行基盤としてGCPのCloud Composer を利用しています。 自動テストを行うために、GitHub Acti
Amazon MWAAのローカル環境を簡単構築！aws-mwaa-local-runnerのススメ | DevelopersIO
Amazon MWAA（Amazon Managed Workflows for Apache Airflow）を利用する場合のローカル開発環境として便利なaws-mwaa-local-runnerを紹介します。 こんにちは。サービスグループの武田です。 AWSは多くのマネージドサービスを提供していますが、ではそれを利用する場合の開発環境をどうしようかという課題があります。動作確認は常にAWSで行えばよいという考え方もあります。一方で、たとえばDynamoDBであればDynamoDB Localを使うなどローカルで実行可能な環境を作れる場合もあります。 AWSではAmazon Managed Workflows for Apache Airflow（MWAA）という、Airflowのマネージドサービスを提供しています。今回はMWAAのローカル環境についてです。名前からも分かるとおり中身はA
こんにちは。12月からInsight Edgeに参画したData Scientistのカイオと申します。 入社してから早速、ChatGPT案件やデータサイエンス案件をいくつか担当しています。 今回は、とある案件で使用したMLパイプライン管理ツール「Kedro」について紹介したいと思います。 目次 Kedroとは なぜKedroを選んだか メリット デメリット 他のツールとの違い まとめ Kedroとは まず、Kedroとは何かの説明から始めましょう。 パイプラインを表示する機能もあります（引用元：https://docs.kedro.org/en/0.17.7/03_tutorial/05_visualise_pipeline.html） Kedroとは、データサイエンスのパイプラインを管理するツールです。データ収集、変換やモデル学習、ハイパーパラメータ調整の管理から精度評価までまとめて簡
Egen is a technology services company working across cloud, data, ai, and platforms
We are honored and excited to be recognized as a “Major Contender” in the first Everest Group “Google Cloud Services Specialists PEAK Matrix’ Assessment 2024” report. // ANNOUNCEMENTEgen recognized as a Major Contender in Google Cloud services by Everest Group
こんにちは、データプラットフォームチームの鳥山（@to_lz1）です。 Classiでは、2019年ごろからデータ基盤に「ソクラテス」の愛称をつけて運用を続けています。初期の構成は2021年に書かれたエントリ*1にも詳しいですが、数年の間に進化したことも増えてきました。 大きな変化の一例として、最近、私たちのチームではdbt*2を導入してジョブ間の依存管理やメタデータの管理を改善しました。 本記事ではこの取り組みをピックアップして紹介します。また、進化したソクラテスの構成図をアップデートするとともに、Classiデータプラットフォームチームの最新版の雰囲気もお伝えできればと思います。 dbt移行前の構成 ジョブ間の依存管理がつらい メタデータの管理がつらい 過去との差分と、移行への機運 周辺ツールのエコシステムが整った エンジニア以外のメンバーがPull Requestを出すことが減った
プレビューになったBigQuery Studio Notebookのスケジュール実行機能を試してみた | DevelopersIO
データアナリティクス事業本部の根本です。新たにBigQuery StudioのNotebookにスケジュール実行できる機能がプレビューとなりました。 June 13, 2024 面白い機能だなと思ったので実際に触ってみて、記事にしてみました。 追加される機能について 概要 BigQuery Notebookを指定した時間と頻度で自動的に実行するようにスケジュールできます。 pythonで実装できDataFrameとしてデータを処理することができるので処理の自由度が高いです。 スケジュールドクエリなどSQLだけでは難しい処理をpythonで実装して日次など決まったタイミングで実行したい場合に役に立つと考えます。 料金 リファレンスではColab Enterprise のランタイム料金が適用されますとの記載がありました。 Colab Enterprise charges for runtime
PyCaretとMLflowで機械学習の実験を簡単に実行・記録する - DATAFLUCT Tech Blog
こんにちは！nakamura（@naka957）です。今回はPyCaretとMLflowを用いたAutoMLと実験記録を連携した活用方法をご紹介します。 今回は様々な機械学習アルゴリズムの比較・モデル実装に加えて、行った実験記録の管理を簡単に行う方法をご紹介します。実施事項がたくさんありますが、PyCaretとMLflowの活用で少ないコード行数で簡単に実施できます。 PyCaretは機械学習モデルの実装を簡単に行えるOSSですが、PyCaretからMLflowを呼び出すこともでき、実験記録の管理も同時に行えます。 【PyCaret】 ■ AutoMLライブラリPyCaretを使ってみた〜モデル実装から予測まで〜 ■【続き】 AutoMLライブラリPyCaretを使ってみた 〜結果の描画〜 【MLflow】 ■ MLflowの使い方 - 機械学習初心者にもできる実験記録の管理 - ■ ML
Airflow Breeze を利用してローカルで Airflow を起動する | フューチャー技術ブログ
概要TIG の多賀です。 OSS として Airflow へ貢献するにあたり、ローカルでの実行やテストの環境整備が必要になります。また、 Airflow を利用するにあたってもローカルでの動作確認をしたいケースは多いかと思います。 Airflow では、 Airflow Breeze と呼ばれる環境が整備され、公式より提供されています。当記事では、 Airflow Breeze について概要を記載し、 Airflow への OSS 貢献の入り口となれば良いと考えています。 Airflow Breeze とはAirflow Breeze とは、ローカルで Airflow を簡単に実行できるように整備された環境を指します。実態はコンテナベースで構築され、Docker Compose が利用されています。 airflow/AirflowBreeze_logo.png at master · ap
Windmill is a fast, open-source alternative to platforms like Retool, Airplane, Superblocks, n8n, Airflow, and Temporal, designed to build comprehensive internal tools (endpoints, workflows, UIs). It supports coding in Typescript, Python, Go, Bash, SQL, or any Docker image, alongside intuitive low-code builders, featuring: An execution runtime for scalable, low-latency function execution across a
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Airflow Summit 2022 東京】オフライン参加レポ - Qiita
ワークフロー管理プラットフォームのCI環境をクラウドネイティブへ - Pepabo Tech Portal
Kedroを使って感じたこと - Insight Edge Tech Blog
dbtを導入した話、そしてClassiのデータ基盤「ソクラテス」の現在地 - Classi開発者ブログ
What is Windmill? | Windmill
v.lemon8-app.com
note.com/____twitte____
www.kochinews.co.jp
www.saitama-np.co.jp
yogajournal.jp
anond.hatelabo.jp