並び順

ブックマーク数

期間指定

  • から
  • まで

121 - 160 件 / 168件

新着順 人気順

Kubeflowの検索結果121 - 160 件 / 168件

  • How to install Charmed Kubeflow on Kubernetes | Documentation | Charmed Kubeflow

    Charmed Kubeflow (CKF) can be installed on any CNCF certified Kubernetes, including AKS, EKS, GKE, Openshift and any kubeadm-deployed cluster. Prerequisites A working Kubernetes (K8s) cluster is required. The cluster must meet these requirements: Be version 1.27-1.29 Have a default storage class configured Bootstrap Juju CKF is deployed to Kubernetes with Juju. Before deployment, Juju must first b

      How to install Charmed Kubeflow on Kubernetes | Documentation | Charmed Kubeflow
    • Kubeflow Central Dashboard

      Kubeflow Central Dashboard

      • Kubeflow が MicroK8s の Addon になってた - kondoumh のブログ

        以前 Kubeflow を MiniKF (Minikube ベースの VirtualBox イメージ) で導入しました。 blog.kondoumh.com その後 Ubuntu 19.10 のリリース時、Kubeflow が MicroK8s の Addon として導入できるようになるというアナウンスがありました。 ubuntu.com MicroK8s は Snap で簡単にインストールできる Kubernetes 環境です。Addon として Dashboard、CoreDNS、Istio などを microk8s.enable コマンドで簡単に導入できます。 blog.kondoumh.com そして、つい先日の MicroK8s 1.17 - 11 December 2019 で Addon として追加された模様です。 New addon: kubeflow. Give it

          Kubeflow が MicroK8s の Addon になってた - kondoumh のブログ
        • 徹底解説!Kubernetes上で動く機械学習プラットフォームKubeflow

          この連載では、Kubernetes 上で動く機械学習プラットフォーム Kubeflow について、その機能・周辺フレームワークも含めて詳細に解説します。

          • GitHub - kubeflow/training-operator: Distributed ML Training and Fine-Tuning on Kubernetes

            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

              GitHub - kubeflow/training-operator: Distributed ML Training and Fine-Tuning on Kubernetes
            • SpotifyがKubeflow MLパイプライン用のTerraformモジュールをオープンソースとして公開

              Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

                SpotifyがKubeflow MLパイプライン用のTerraformモジュールをオープンソースとして公開
              • Kubeflow Central Dashboard

                Kubeflow Central Dashboard

                • GitHub - kubeflow/examples: A repository to host extended examples and tutorials

                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                    GitHub - kubeflow/examples: A repository to host extended examples and tutorials
                  • Kubeflow Pipelines SDKを用いた並列処理の実装 - け日記

                    最近はお仕事でKubeflow Pipelinesを触り始めています。 PythonでDAGを定義し、SDK (KFP) を使ってArgo Workflowのマニフェストを出力して、それをKubeflowにアップロードしてパイプラインを作る、という流れで開発しています。 サンプルパイプライン processの並列化 並列後の集約 今回は、タスクの一部を並列化する方法について備忘録としてまとめます。PythonとSDK (KFP) は以下のバージョンを用いています。 $ python --version Python 3.8.5 $ pip list | grep kfp kfp 0.5.1 サンプルパイプライン サンプルとして、1〜nの数字をm個ずつに分割してそれぞれで合計を求めるパイプラインを考えます。ユーザから与えられるパラメータはnとmです。 上を実現するために preprocess

                      Kubeflow Pipelines SDKを用いた並列処理の実装 - け日記
                    • kubeflow pipeline をLinuxにデプロイ(kind編) - Qiita

                      はじめに awesome-kfpというライブラリを現在作成中です。よければStarまたはContributionお願いいたします🙏 Kubeflowとは KubeflowとはMLOpsを実現するためのKubernate上で動作するツール群のこと。 詳しくはこちらの記事にまとめてあります。 Deploy Kubeflow pipeline on Linux 基本的にはKubernatesはクラウド上で運用することが多いと思いますが、今回は実験としてローカル上に仮想Kubernatesクラスターを立ち上げてその上にKubeflowをデプロイしていきたいと思います。 公式のチュートリアルに乗っ取った方法でやっていきたいと思います。 公式ではローカルに仮想クラスターを実現するためにkind(Kubernates in Docker)やk3sというKubernatesよりもライトなローカルやエッジ

                        kubeflow pipeline をLinuxにデプロイ(kind編) - Qiita
                      • Kubeflow Pipelines SDK を使ってパイプラインを構築する - Qiita

                        前提 kubeflow pipelines とは kubeflow pipelinesは、kubernetesのクラスタ上で動く機械学習のためのツールセットであるkubeflowのひとつの、所謂「パイプラインツール」である。 パイプラインは基本的にワークフローになっており、かのTFXも踏襲することが出来る。 ワークフローはバックエンドがArgoというkubernetes製のワークフローエンジンになっており、ワークフローのいちステップがPodになっている。 例えば上の図はkubeflow pipelinesの公式のチュートリアルに登場するものである。 パイプラインではあるが、同時にこの1つの図自体はワークフローとして表現されており、extract_dataやgenerate_statsなどがステップとしてのPodであり、Kubeflow pipelinesの世界ではコンポーネント(Compo

                          Kubeflow Pipelines SDK を使ってパイプラインを構築する - Qiita
                        • Cisco は、ハイブリッド機械学習ワークフローを作成するために Amazon SageMaker と Kubeflow を使用 | Amazon Web Services

                          Amazon Web Services ブログ Cisco は、ハイブリッド機械学習ワークフローを作成するために Amazon SageMaker と Kubeflow を使用 この記事は、Cisco の AI/ML ベストプラクティスチームのメンバーによるゲスト投稿です。そのメンバーには、テクニカルプロダクトマネージャーの Elvira Dzhuraeva 氏、上級エンジニアの Debo Dutta 氏、プリンシパルエンジニアの Amit Saha 氏が含まれます。 Cisco は、多くのビジネスユニットに機械学習 (ML) と人工知能 (AI) を適用する大企業です。CTO オフィスにある Cisco AI チームは、AI と ML を使用するビジネスユニット全体の会社のオープンソース (OSS) AI/ML ベストプラクティスを担当しています。また、Kubeflow オープンソースプ

                            Cisco は、ハイブリッド機械学習ワークフローを作成するために Amazon SageMaker と Kubeflow を使用 | Amazon Web Services
                          • Google Cloud Platform Japan 公式ブログ: AI Hub と Kubeflow Pipelines を発表 ―― AI をよりシンプル、高速、便利なものに

                            AI Hub と Kubeflow Pipelines を発表 ―― AI をよりシンプル、高速、便利なものに ※この投稿は米国時間 2018 年 11 月 8 日に Google Cloud blog に投稿されたものの抄訳です。 アパレル サプライチェーンに革命を起こしたり、電子商取引を高速化したりといったように、あらゆる業種の企業がビジネスを進化させるために AI の利用を進めています。しかし、多くの企業にとって、AI の本格的な導入に伴う複雑さは非常に厄介なようです。 私たち Google の目標は、AI をすべての企業にとって手の届くものにすることです。しかし、そのためには参入の敷居を下げなければなりません。そこで私たちは、3 つのことを念頭に置いてすべての AI サービスを構築しています。それは、「より多くの企業が導入できるようにシンプルにすること」「できるだけ多様な組織にとっ

                              Google Cloud Platform Japan 公式ブログ: AI Hub と Kubeflow Pipelines を発表 ―― AI をよりシンプル、高速、便利なものに
                            • Kubeflow Pipelines v2: ML パイプラインをより簡単に、より速く、よりスケーラブルに | Google Cloud 公式ブログ

                              Kubeflow Pipelines v2: ML パイプラインをより簡単に、より速く、よりスケーラブルに ※この投稿は米国時間 2023 年 10 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 ML は、ビジネスの規模を問わずますます不可欠になっています。しかし、ML モデルの構築、デプロイ、継続的なトレーニングは複雑で時間がかかります。そこで、Kubeflow Pipelines(KFP)の出番となります。ここ数年、KFP の採用が増加しています。KFP は、再利用可能なエンドツーエンドの ML ワークフローを構成、デプロイ、管理するエコシステムを提供するハイブリッド ソリューションで、プロトタイピングから本番環境までロックインがありません。このたび、KFP v2 をリリースすることになりましたので、このブログ投稿でその新機能についてご紹介します。

                                Kubeflow Pipelines v2: ML パイプラインをより簡単に、より速く、よりスケーラブルに | Google Cloud 公式ブログ
                              • Kubeflow Pipelinesにおけるコンポーネント間のデータ受け取り方・渡し方まとめ - その1 - Qiita

                                本記事ではNo.1, 2について解説し、No.3 ~ 5については来週(12/8)のアドベントカレンダーにて解説します。 環境 kfpは2020年12月現在、v1.1までリリースされていますが公式ドキュメントの方がバージョンアップデートに追いついていないのでv1.0を使っています。 $ pip install kfp==1.0 $ pip show kfp Name: kfp Version: 1.0.0 Summary: KubeFlow Pipelines SDK ... 今回実行するコンポーネントは全てKubeflow Pipelines SDKのfunc_to_container_opアノテーションで作っているので、Dockerイメージなどを新たに作る必要はありません。 ありがたいことに、KFP側でよしなにやってくれます。 下記のパッケージが事前に宣言されているものとして書き進めま

                                  Kubeflow Pipelinesにおけるコンポーネント間のデータ受け取り方・渡し方まとめ - その1 - Qiita
                                • AI Hub から Kubeflow Fairing を使ってタイタニック生存予測サービスを立ててみる @ Google Cloud Next'19参加レポ | | AI tech studio

                                  2019.4.24 AI Hub から Kubeflow Fairing を使ってタイタニック生存予測サービスを立ててみる @ Google Cloud Next’19参加レポ アドベリフィケーション事業の井上です。 サンフランシスコで開催された Google Cloud Next’19 に参加してきました。 今回はなんと122以上にのぼる発表がありました。 Google CloudのChief Marketing OfficerであるAlison Wagonfeld氏 が 公式ブログにまとめてくださっています。 原文: News to build on: 122+ announcements from Google Cloud Next ‘19 日本語訳: Google Cloud Next ’19 で行った 122 の発表 新機能の概要はこちらの公式ブログをご覧になって頂くのが良いかと

                                    AI Hub から Kubeflow Fairing を使ってタイタニック生存予測サービスを立ててみる @ Google Cloud Next'19参加レポ | | AI tech studio
                                  • Kubeflow 1.0 on AWS #1 構築 - Qiita

                                    はじめに これは、Kubeflow 1.0 をAWSで構築する記事です。 動作確認が主な目的ですので、本番環境での利用は全く想定していません。 環境について kubernetes Amazon EKS v1.14(検証開始時点) kubeflow kubeflow 1.0.1(検証開始時点での最新) クライアント環境 DockerHubのdockerイメージ上で実行(私が作成したもの) kubectl, eksctl, awscli 等々検証に必要なものはだいたいインストール済み kubectl get all -A NAMESPACE NAME READY STATUS RESTARTS AGE anonymous pod/test1-0 2/2 Running 0 8h cert-manager pod/cert-manager-564b4bffd7-svsvz 1/1 Running

                                      Kubeflow 1.0 on AWS #1 構築 - Qiita
                                    • [和訳] DockerCon SF 2018 "Cool Hacks" での注目株: Kubeflow #docker #kubernetes #k8s - クリエーションライン株式会社

                                        [和訳] DockerCon SF 2018 "Cool Hacks" での注目株: Kubeflow #docker #kubernetes #k8s - クリエーションライン株式会社
                                      • ゼロから始める Kubeflow での機械学習パイプライン構築

                                        ゼロから始める Kubeflow での 機械学習パイプライン構築

                                          ゼロから始める Kubeflow での機械学習パイプライン構築
                                        • そうだ、Kubeflow Pipelinesでカスタムコンテナ利用と設定ファイルの記述をしよう | DevelopersIO

                                          おはこんハロチャオ~!何者(なにもん)なんじゃ?じょんすみすです。 今日も今日とて、機械学習パイプラインを作っては流し作っては流しを繰り返す日々、 皆さんいかがお過ごしでしょうか。 私は、パイプラインが複雑になっていくにつれなぜか楽しくなっていきます。 さて、そんな日々をすごしておりますが、Kubeflow Pipelines(以下KFP)を使って最も手軽にコンポーネントの処理内容を定義する関数による実装では、処理が複雑化すると大変なことになってきます。 Vertex AIではじめるKubeflow Pipelines | DevelopersIO なんせ、単一の関数内で処理を書くわけですから、処理が長くなってしまうとどこで何をやってるか見通しを立てづらくなりますし、よく使う処理の共通化も難しいです。 そんなわけなので、今回はパイプライン処理の規模が大きくなることを想定した使い方を見ていき

                                            そうだ、Kubeflow Pipelinesでカスタムコンテナ利用と設定ファイルの記述をしよう | DevelopersIO
                                          • Kubeflow v0.71でcustom imageのnotebookで遊ぶ - Qiita

                                            ある種ナイスタイミング 本記事を書いているまさにその時、Kubeflow v1.0RCがリリースされました。 私の環境のv0.71では、PipelineやKalibなど、いつくかの機能が動かないので、なる早でv1.0RCを試したいと思います… が、v0.71の記事を書いちゃったので、供養を兼ねて(ほとんどの手順はv1.0に転用できるし)。 この記事は何? Kubeflow v0.71のインストール方法 自前のNotebookコンテナイメージを使ってみた&Notebook環境にノードのデータ(KaggleのTitanic)をマウントしてみた の2本立てです。 当初期待していたPipelinesやKalibはうまく動かせず、v1.0RC今度使ってみよう、で終わります (KaggleのTitanicデータで前処理Pipeline作成&パラメータチューニング、までやりたかった) Kubeflowを

                                              Kubeflow v0.71でcustom imageのnotebookで遊ぶ - Qiita
                                            • Agata Naomichi on Twitter: "kubeflow が依存してた ksonnet が開発停止になっているのを受けて kustomize への移行が進められていたけど、04/30 が移行のターゲットになる? https://t.co/F6YuK7a1k3"

                                              kubeflow が依存してた ksonnet が開発停止になっているのを受けて kustomize への移行が進められていたけど、04/30 が移行のターゲットになる? https://t.co/F6YuK7a1k3

                                                Agata Naomichi on Twitter: "kubeflow が依存してた ksonnet が開発停止になっているのを受けて kustomize への移行が進められていたけど、04/30 が移行のターゲットになる? https://t.co/F6YuK7a1k3"
                                              • Kubeflow KFServingでscikit-learnの学習済みモデルを用いた推論サービスを公開する - Qiita

                                                著者: 株式会社 日立ソリューションズ 柳村 明宏 監修: 株式会社 日立製作所 はじめに KubeflowはKubernetes上でMLOpsを実現するためのOSSのツールキットです。2020/3にバージョン1.0がリリースされ、2021/4現在も活発に開発が行われており、機械学習を利用したシステムの開発/運用のライフサイクルを回すための有効な手段の1つとして注目されています。 本連載では、Kubeflowのバージョン1.2(連載開始時点の最新版、2020年11月リリース)について、構築手順、Kubeflow Pipelines、KFServingの基礎的な利用手順についての情報を紹介いたします。 第4回の本稿では、第3回⽬で作成した学習済みモデルを利⽤した推論サービスを、Kubeflowのサービングコンポーネントの1つであるKFServingを利用して公開する⼿順を紹介いたします。 本

                                                  Kubeflow KFServingでscikit-learnの学習済みモデルを用いた推論サービスを公開する - Qiita
                                                • EKS 上に Kubeflow を構築してみた - Qiita

                                                  なぜ EKS に構築したのか ? 社内のセキュリティの理由で、AWSの東京リージョンでなければ構築できないという大人な事情です。また、高額であるためGPUインスタンスを利用することもできないという大人な事情があるために、安価なCPUインスタンスで構築をします。そのために、公式ドキュメント からは若干ずれたものであるので、ドキュメントとして残しておこうかと思います。また、Kubeflow v0.2以前とv0.3以降ではそもそもの構築方法が異なるために、途中でAWSのドキュメントが使えなくなります。そのために、適宜 Getting Started with Kubeflow の記事を参照する必要があります。 必要な条件 AWS CLI EKS Optimized AMI 日本リージョンのCPUインスタンス: ami-063650732b3e8b38c 日本リージョンのGPUインスタンス: am

                                                    EKS 上に Kubeflow を構築してみた - Qiita
                                                  • [レポート]CON306-R1 – 機械学習インフラストラクチャ on Amazon EKS with Kubeflow の構築 #reinvent | DevelopersIO

                                                    どうも、DA事業本部の大澤です。 本エントリはAWS re:Invent 2019のセッション「CON306-R1 - [REPEAT 1] Building machine-learning infrastructure on Amazon EKS with Kubeflow」のレポートです。 セッション概要 Data science, machine learning (ML), and artificial intelligence have exploded in popularity in the last few years, with companies building out dedicated ML teams. Kubeflow is the ML toolkit for Kubernetes and provides useful components resolv

                                                      [レポート]CON306-R1 – 機械学習インフラストラクチャ on Amazon EKS with Kubeflow の構築 #reinvent | DevelopersIO
                                                    • Vertex AI Pipelines で利用している Kubeflow Pipelines を v2 へ移行しました - Commune Engineer Blog

                                                      こんにちは,コミューンで機械学習エンジニアとして働いている柏木(@asteriam_fp)です. 最近は,鬼滅の刃の柱稽古編が毎週日曜日に放送されていて,それを見て楽しんだ勢いで月曜日からの仕事も勤しんでいます!(無限城編も楽しみです) はじめに 現在我々のチームでは,Google Cloud 上の Vertex AI Pipelines 上で機械学習パイプライン(バッチレコメンド等で利用中)を動かしています.その裏側では,Kubeflow Pipelines (KFP) を利用していますが,このライブラリ(フレームワーク)が2023年6月にバージョン2.0をリリースしました. 以前まで使用していたバージョン1.8は2024年12月にサポートが終了してしまいます.これに伴い我々のチームでもバージョン2.0への移行対応を実施したため,本ブログではその内容を紹介したいと思います. https:

                                                        Vertex AI Pipelines で利用している Kubeflow Pipelines を v2 へ移行しました - Commune Engineer Blog
                                                      • First Class Support for Kustomize Packages In Kubeflow

                                                        First Class Support for Kustomize Packages In Kubeflow 2019-01-28 jlewi@google.com, kam.d.kasravi@intel.com http://bit.ly/2RwMP8q TL;DR Since we announced Kubeflow at Kubecon December 2018, kustomize has gained a lot of traction. As a result, I think we should consider adding support for Kustom...

                                                          First Class Support for Kustomize Packages In Kubeflow
                                                        • KubeflowをGCPで一通り試してみる時の完全ガイド

                                                          以下を一通りやってみたが,結構はまるポイントや何故そうしているのかわからないまま進める感じになってハードルが高そうだったので, 自分が試してうまくいった手順をまとめてみました. Set up Google Cloud Project Cloud Shell での作業 (free tier ではなく paid account で実施) gcloud config set project <YOUR PROJECT NAME> gcloud config set compute/region asia-northeast1 gcloud services enable compute.googleapis.com container.googleapis.com iam.googleapis.com servicemanagement.googleapis.com cloudresourcem

                                                            KubeflowをGCPで一通り試してみる時の完全ガイド
                                                          • KubeFlow上で機械学習の環境を用意し、MLFlowでモデルを保存する - Qiita

                                                            [更新] KubeFlow 1.0のCONFIG_URIに対応しました。 0. 目標 KubeFlowは、機械学習の開発・運用の環境を提供するOSSです。 KubeCon NA 2019でも多くのセッションで取り上げられました。Jupyterを必要なだけ起動したり、パイプラインを実行できたりします。v0.6.2では、複数ユーザをサポートできるようになりました。今年前半でv1.0が提供される予定で、開発が目下進められています。 また、MLFlow modelsも、機械学習モデルの保存という観点では、保存形式の一つとして非常に強力なツールと思います。 今回は、以下の2つをやってみたいと思います。 KubeFlowを構築。その上に、まずユーザAとユーザBそれぞれにJupyterを起動。 ユーザAがMLFlow modelsを使って、学習済みモデルを保存。それを、ユーザBのJupyterに共有し復

                                                              KubeFlow上で機械学習の環境を用意し、MLFlowでモデルを保存する - Qiita
                                                            • Local Volumeを使ったKubeflowの動作検証 - Qiita

                                                              はじめに 今回の検証では、Kubernetes上でML環境を提供するKubeflowを試します。Kubeflowは、シングルノードのKubernetesの実験環境であるminikubeでも実行できます。しかし、大規模な計算を行うMLにおいて、シングルノードの計算リソースでは実用に耐えられません。そのため、マルチノードのKubernetesクラスタ上にKubeflowをセットアップしたい人も多いかと思います。 しかし、セットアップに際し、ひとつ問題があります。それが永続ストレージです。Kubeflowをセットアップするためには、データを保存するための永続ストレージが必要となります。minikubeでは、minikubeが提供するprovisionerによって、minikubeのVMを利用し永続ストレージを提供しています。GKEなどのパブリッククラウドのサービスを使っている場合も、比較的容易に

                                                                Local Volumeを使ったKubeflowの動作検証 - Qiita
                                                              • Google Cloud Japan 公式ブログ: AI Hub と Kubeflow Pipelines を発表 ―― AI をよりシンプル、高速、便利なものに

                                                                AI Hub と Kubeflow Pipelines を発表 ―― AI をよりシンプル、高速、便利なものに ※この投稿は米国時間 2018 年 11 月 8 日に Google Cloud blog に投稿されたものの抄訳です。 アパレル サプライチェーンに革命を起こしたり、電子商取引を高速化したりといったように、あらゆる業種の企業がビジネスを進化させるために AI の利用を進めています。しかし、多くの企業にとって、AI の本格的な導入に伴う複雑さは非常に厄介なようです。 私たち Google の目標は、AI をすべての企業にとって手の届くものにすることです。しかし、そのためには参入の敷居を下げなければなりません。そこで私たちは、3 つのことを念頭に置いてすべての AI サービスを構築しています。それは、「より多くの企業が導入できるようにシンプルにすること」「できるだけ多様な組織にとっ

                                                                  Google Cloud Japan 公式ブログ: AI Hub と Kubeflow Pipelines を発表 ―― AI をよりシンプル、高速、便利なものに
                                                                • EKSにKubeFlow1.0.2を構築する - Qiita

                                                                  はじめに Installing Kubeflowページにある「Cloud deployment」をやってみます。全体の手順はこちらに従っています。 ※ Q.なぜGCPを使わないのか A.会社でAWSを使うからです。 k8sを使うだけならGCPが圧倒的に使いやすいです。比較記事を参照してください。 環境 開発PC(macOS Catalina 10.15.6(19G73)) AWS 手順 AWS CLI のインストール AWS CLIをインストールします。手順はこちらを参考にしてください。 AWS CLIのコンフィグレーションを実行しておきます。手順はこちらを参考にしてください。

                                                                    EKSにKubeFlow1.0.2を構築する - Qiita
                                                                  • kubeflow elryaを用いたMLOpsについて - Qiita

                                                                    Kubeflow Elrya を用いた MLOps (Machine Learning Operations) は、Kubernetes 上で機械学習ワークフローを実行するためのプラットフォームです。Kubeflow Elrya を用いた MLOps を行う場合、以下のようなステップがあります。 Kubeflow Elrya をセットアップする: Kubeflow Elrya を使用するには、まず Kubernetes クラスター上にセットアップする必要があります。Kubeflow Elrya のセットアップ方法については、公式ドキュメントを参照してください。 Jupyter Notebook を使用したモデル開発: Kubeflow Elrya は、Jupyter Notebook を使用したモデル開発をサポートしています。Jupyter Notebook 上では、Python や R

                                                                      kubeflow elryaを用いたMLOpsについて - Qiita
                                                                    • Kubeflow 1.0 on AWS #3 TF-JOBの実行 - Qiita

                                                                      はじめに これは、Kubeflow 1.0 をAWSで構築する記事です。 動作確認が主な目的ですので、本番環境での利用は全く想定していません。 前回まで Kubeflow 1.0 on AWS #2 Notebook作成 今回の内容 exampleのTFJOBを実行して、最低限の動きができていることを確認します 参考資料 https://www.kubeflow.org/docs/components/training/tftraining/ https://raw.githubusercontent.com/kubeflow/tf-operator/master/examples/v1/mnist_with_summaries/tfevent-volume/tfevent-pv.yaml https://raw.githubusercontent.com/kubeflow/tf-oper

                                                                        Kubeflow 1.0 on AWS #3 TF-JOBの実行 - Qiita
                                                                      • Kubeflow – ClassCat® AI Research

                                                                        Kubeflow 1.0 : パイプライン : パイプラインの理解 : Kubeflow パイプラインの概要 (翻訳/解説) 翻訳 : (株)クラスキャット セールスインフォメーション 作成日時 : 04/13/2020…

                                                                        • k8s用機械学習基盤kubeflow インストール - Qiita

                                                                          ${KUBEFLOW_SRC}/scripts/kfctl.sh init ${KFAPP} --platform none cd ${KFAPP} ${KUBEFLOW_SRC}/scripts/kfctl.sh generate k8s ${KUBEFLOW_SRC}/scripts/kfctl.sh apply k8s $ kubectl get pod --namespace kubeflow NAME READY STATUS RESTARTS AGE ambassador-7b8477f667-cdqd7 1/1 Running 0 49m ambassador-7b8477f667-klkxb 1/1 Running 0 49m ambassador-7b8477f667-x5jvs 1/1 Running 0 49m argo-ui-fb67b6bc8-282v4 1/1

                                                                            k8s用機械学習基盤kubeflow インストール - Qiita
                                                                          • Kubeflow Pipelinesでscikit-learnの機械学習モデルを訓練・評価してみる - Qiita

                                                                            初版: 2021/4/20 著者: 高久 隆史, 株式会社日立製作所 はじめに KubeflowはKubernetes上でMLOpsを実現するためのOSSのツールキットです。2020/3にバージョン1.0がリリースされ、2021/4現在も活発に開発が行われており、機械学習を利用したシステムの開発/運用のライフサイクルを回すための有効な手段の1つとして注目されています。 本連載では、Kubeflowのバージョン1.2(連載開始時点の最新版、2020年11月リリース)について、構築手順、Kubeflow Pipelines、KFServingの基礎的な利用手順についての情報を紹介いたします。 第3回の本稿では、Kubeflow Pipelines上でscikit-learnの機械学習モデルを訓練・評価した際の手順を紹介いたします。 Kubeflow Pipelinesで独自のPythonコード

                                                                              Kubeflow Pipelinesでscikit-learnの機械学習モデルを訓練・評価してみる - Qiita
                                                                            • Kubeflow サブプロジェクトの Katib のメンテナになった - tenzenの生存日誌

                                                                              この度、kubeflow/katib のメンテナになりました。これからも頑張ります。 https://t.co/ki68ysHbue— tenzen (@AokiTenzen) 2022年12月10日 先日 Tweet したように、Kubernetes 上で MLOps 基盤を構築するための OSS である、Kubeflow で AutoML を実現するサブプロジェクトである Katib のメンテナ (Approver) になりました。 そこで今回は Kubeflow におけるメンテナとは何かなどの話をして行きたいと思います。 Kubeflow コミュニティ Kubeflow コミュニティには取り組む分野を分類した、 Working Group (WG) があり、基本的に役職はこれらの Working Group ごとに決まっています。 AutoML Working Group Deplo

                                                                                Kubeflow サブプロジェクトの Katib のメンテナになった - tenzenの生存日誌
                                                                              • Vertex AIではじめるKubeflow Pipelines | DevelopersIO

                                                                                おはこんハロチャオ~!何者(なにもん)なんじゃ?じょんすみすです。 世の中は大機械学習パイプライン化時代を迎えています。 いや、特に迎えていないですがMLOpsの文脈の中で機械学習に関わる一連の処理をどのようにパイプライン化するかは一つの重要なテーマとなります。 そこで今回はVertex AIでマネージドな環境を利用できるKubeflow Pipeline(以下KFPと表記)の話をしていきましょう。 なお、本記事は Vertex AI Pipelines上で実行のみについて言及 Vertex AI Workbenchでkfp 1.8.9をインストールして実行 となっております。 それ以外の実行環境やバージョンでの確認は行っておりませんのであらかじめご了承ください。 登場人物 以下の3つの人物に登場していただきます。 Component Parameter, Artifact Pipelin

                                                                                  Vertex AIではじめるKubeflow Pipelines | DevelopersIO
                                                                                • 【GCP】Kubeflow Pipelinesを使った機械学習パイプラインの自動化 - Qiita

                                                                                  はじめに Qiitaへの初投稿です。半年間、独学で機械学習やGCPについて学習したアウトプットとして記事を書きました。間違いなどございましたら、ご指摘いただけると幸いです。随時、加筆修正いたします。今回使用するコードはこちらのレポジトリにあります。 この記事では、Kubeflow Pipelinesを用いた機械学習パイプラインの自動化について記述します。Courseraの講座をベースにしました(当該GitHubレポジトリはこちら)。設計にはこちらのドキュメントが参考になります。 目的 パイプラインの実行を自動化することにより、機械学習モデルの運用コストを下げることを目的としています。具体的には、コードの変更後に、モデルの訓練・評価・デプロイなどのタスクを自動で実行されます。また、コンポーネントの追加が容易であるようなパイプラインを構築することで、段階的な機械学習モデルの導入を実現することが

                                                                                    【GCP】Kubeflow Pipelinesを使った機械学習パイプラインの自動化 - Qiita