Metaflowでモデルの学習をpipeline化するまで - DATAFLUCT Tech Blog

皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「DevOps」については当時から認知していました。今日のMLOpsというのはDevOpsの考えや知見を機械学習分野に適応、進化させたものだと考えられています。 そんなMLOpsですが、厳密な定義はなく、私自身も専門的に取り組んだことがない分野です。今回はMLOpsを快適に実現するためのライブラリのMetaflowについて一緒に取り組んでいきましょう。 Metaflowとは Metaflowの強み Metaflowを検討するケース スケーラビリティ: プロジェクトに1台以上のラップトップサイズのコンピュータが必要か 重要性: 結果を正しくタ

[sh19910711]

2022 / "Metaflow: Netflixが社内で開発をしていたPython製のライブラリ + 機械学習プロジェクトの開発サイクルをパイプラインとして定義 / 必要以上に多くの機能を詰め込まないという意図 / resume: デバッグに便利"