KubernetesでオーケストレートされたDockerコンテナでTensorflowを動かすKubeflowというツールがGithubに上がっていました。 https://github.com/google/kubeflow ためしに動かしてみました。 Kubeflowとは KubeflowはKubernetesで機械学習を動かすためのスケーラブルでポータブルな環境を提供します。 目的は"to provide a straightforward way for spinning up best of breed OSS solutions"とのことですので、OSSで機械学習基盤を実現するシンプルな構成を提供するというものだと思います。 Kubeflowには以下が含まれています。 - JupyterHub - Tensorflow Training Container - Tensorfl
Google Cloud Japan 公式ブログ: AI Hub と Kubeflow Pipelines を発表 ―― AI をよりシンプル、高速、便利なものに
AI Hub と Kubeflow Pipelines を発表 ―― AI をよりシンプル、高速、便利なものに ※この投稿は米国時間 2018 年 11 月 8 日に Google Cloud blog に投稿されたものの抄訳です。 アパレル サプライチェーンに革命を起こしたり、電子商取引を高速化したりといったように、あらゆる業種の企業がビジネスを進化させるために AI の利用を進めています。しかし、多くの企業にとって、AI の本格的な導入に伴う複雑さは非常に厄介なようです。 私たち Google の目標は、AI をすべての企業にとって手の届くものにすることです。しかし、そのためには参入の敷居を下げなければなりません。そこで私たちは、3 つのことを念頭に置いてすべての AI サービスを構築しています。それは、「より多くの企業が導入できるようにシンプルにすること」「できるだけ多様な組織にとっ
Kubernetesの上で機械学習を実装するためのツール、Kubeflowを紹介する。今回、素材として使うのはCNCFが2020年2月28日に公開したWebinarの動画だ。CNCFはKubernetesのSIG Runtimeのミーティングの動画にもKubeflowに関するコンテンツを収録している。これはCNCFが、Kubeflowを機械学習の実装に要する大きなコストを吸収できるツールとして期待していることのあらわれであろう。 動画：Webinar: From Notebook to Kubeflow Pipelines with MiniKF & Kale これは「From Notebook to Kubeflow Pipelines with MiniKF & Kale」と題して行われたもので、機械学習の実行に必要な周辺のタスク、データの準備やワークフローの作成など、実際に機械学習を
Kubeflow PipelinesでBigQueryにクエリを投げてその結果を保存する方法と注意点 - Qiita
はじめに Kubeflow PipelinesからBigQueryにクエリを投げ、クエリ結果を以下の3パターンで保存する方法をまとめます。 1. CSVファイル 2. GCS 3. BigQuery 併せて実装上の注意点も思いついたものを書いていきます。 環境 import sys sys.version """ '3.7.7 (default, May 6 2020, 04:59:01) \n[Clang 4.0.1 (tags/RELEASE_401/final)]' """ import kfp kfp.__version__ """ '1.0.0' """ 2021年1月現在Kubeflow PipelinesのPython SDKであるkfpの最新バージョンは1.3.0ですが、筆者の実行環境（AI Platform Pipelines）にインストールされているのが1.0.0だった
Kubeflow Central Dashboard
Kubeflow Central Dashboard
Introducing Amazon SageMaker Components for Kubeflow Pipelines | Amazon Web Services
AWS Machine Learning Blog Introducing Amazon SageMaker Components for Kubeflow Pipelines Today we’re announcing Amazon SageMaker Components for Kubeflow Pipelines. This post shows how to build your first Kubeflow pipeline with Amazon SageMaker components using the Kubeflow Pipelines SDK. Kubeflow is a popular open-source machine learning (ML) toolkit for Kubernetes users who want to build custom M
Kubeflow Central Dashboard
Kubeflow Central Dashboard
Kubeflow入門 - Qiita
はじめに Kubeflowとは何なのか。 どんな知識が必要でどんなメリットがあるの？ エコシステムなんかはどうなっているの？ 現状これらの問いの答えとなるような記事を見つけることができなかったため、本記事を執筆しました。 本記事ではKubeflowとは何なのか。そしてどのようなツールで構成されているのか図を交えながらできる限りわかりやすくまとめました。（本記事で使用している図に関してはご連絡いただければ元データをお送りできます。） MLOps、Kubeflowについての日本語の学習リソースがほとんどないですが、MLOpsの概念や技術が日本で広まる一助になればいいなと思っています。 Kubeflowとは 近年の機械学習の急速な発展に伴って、機械学習を本番運用する機会が増えてくる中、てデータサイエンティストと開発者の連携やモデルのバージョン管理などの課題が重要視されてきています。そんな中で出て
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテナで機械学習を動かすKubeflow - Qiita
Kubernetes上で機械学習のパイプラインを実装するKubeflowを紹介