はてなブックマーク

Vertex AI Model Registry とは その名の通り、 ML モデルのバージョンを管理するための場所です。モデルのバージョン管理をするだけであれば GCS 等にモデルの情報を記載したテキストファイルを用意するなどの方法が考えられますが、 Vertex AI Model Registry を使うことの1番のメリットはやはり他の Vertex AI サービスとの親和性が高い点です。 例えば Model Registry に配置したモデルは以下のように利用できます。 テストデータに対するモデルの精度検証 Vertex AI Endpoint へのデプロイ バッチ予測の実行 また BigQuery ML や AutoML で学習されたモデルも Model Registry で管理できるため、 GCP の何らかのサービスで学習した ML モデルは全て Model Registry に

背景 Vertex AI Model Registry でバージョン管理しているモデルを使用して並列に予測を行う Dataflow のジョブを作成したくなったが、 Vertex AI の SDK である google-cloud-aiplatform が Dataflow ワーカーにインストールされていなかった。 やりたいこと Dataflow + Python でバッチジョブを作るときに任意のパッケージをインストールしたい。 ちなみにデフォルトでインストールされるパッケージはジョブの記述に使用している Python と Apache Beam SDK のバージョンによって異なっており、以下からパッケージのリストを参照できる。 google-cloud-* 系のパッケージや numpy, pandas などメジャーなパッケージは元からインストールされているものの、上記にないパッケージは自分

はじめに Kubeflow PipelinesからBigQueryにクエリを投げ、クエリ結果を以下の3パターンで保存する方法をまとめます。 1. CSVファイル 2. GCS 3. BigQuery 併せて実装上の注意点も思いついたものを書いていきます。 環境 import sys sys.version """ '3.7.7 (default, May 6 2020, 04:59:01) \n[Clang 4.0.1 (tags/RELEASE_401/final)]' """ import kfp kfp.__version__ """ '1.0.0' """ 2021年1月現在Kubeflow PipelinesのPython SDKであるkfpの最新バージョンは1.3.0ですが、筆者の実行環境（AI Platform Pipelines）にインストールされているのが1.0.0だった

本記事はMLOps Advent Calendar 2020の18日目の記事です。 はじめに 機械学習モデルを含めたシステムを運用する際に、システムを取り巻く各種インフラを整えずにいるとやがて組織の負債になります。 以下の図はMLOpsに携わるエンジニアであればおよそ7000回は見たと思います。 (参考文献[1]より) 最近ではこの図中のData Collection, Feature Extraction, Data Verificationの一部分を担うFeature Storeと呼ばれる特徴量管理のためのプラットフォームのマネージドサービスがクラウドベンダー各社からリリースされ始めています。 本記事ではFeature Storeを概説し、Feature StoreのOSSであるFeastを簡単に紹介します。 併せてこちらの記事もご覧ください。 参考：Feature Storeを概観す