Netflix、ワークフローオーケストレーター「Maestro」をオープンソース化 1日に約200万のジョブを完了
Netflixは2024年7月23日（米国時間）、大規模なデータ/ML（機械学習）ワークフローオーケストレーター「Maestro」のオープンソース化を発表した。 Maestroは、大規模なデータ/MLワークフロー（データパイプラインやMLモデルのトレーニングパイプラインなど）を管理するために設計された、スケーラブルなワークフローオーケストレーターだ。リトライ、キューイング、コンピュートエンジンへの分散など、ワークフローのライフサイクル全体を管理する。 ユーザーは、Dockerイメージ、ノートブック、bashスクリプト、SQL、Pythonなど、さまざまな形式でビジネスロジックをパッケージ化できる。有向非巡回グラフ（DAG）のみをサポートする従来のワークフローオーケストレーターとは異なり、Maestroは巡回グラフ、foreachループ、サブワークフロー、条件分岐など処理を繰り返すような複雑
Netflix社のMLOpsの事例を紹介します | 行灯Labo（アンドンラボ）｜JapanTaxi採用ブログ
その中で特に面白かったNetflix社の事例を紹介します！ Netflix社事例「A Human-Friendly Approach to MLOps」 Netflix社では、「Metaflow」と呼ばれる独自フレームワークを開発して、データサイエンティストに提供することにより、機械学習アプリケーションの開発・運用を社内で拡大することを実現している。 Netfliexのデータ分析の目標 コンテンツの発売前に、日毎の視聴者数の予測がしたい。これにより、優先度付やリソースの配置を考えている ゴールは２つ 190カ国すべてのオフィスにて、データから一貫した洞察を得られるようにする意思決定者のために正確で即時の情報を提供する データ分析プロジェクトの進め方型と課題 データ探索（〜２週間）notebookなどを用いて、データの振る舞いを理解して、どの特徴量を使うべきか等を探索するプロトタイピング（６
Python at Netflix
By Pythonistas at Netflix, coordinated by Amjith Ramanujam and edited by Ellen Livengood As many of us prepare to go to PyCon, we wanted to share a sampling of how Python is used at Netflix. We use Python through the full content lifecycle, from deciding which content to fund all the way to operating the CDN that serves the final video to 148 million members. We use and contribute to many open-sou
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
