並び順

ブックマーク数

期間指定

  • から
  • まで

81 - 120 件 / 331件

新着順 人気順

Kubeflowの検索結果81 - 120 件 / 331件

  • 「入門機械学習パイプライン」にSagemaker Studio Labで入門する | Amazon Web Services

    前半の章では、これらの各ステージの意義とTFXを用いた実装を主として取り扱っています。 第3章ではExampleGenを用いた構造化・非構造化データの取り込み方法とベストプラクティスが紹介されています。 それに加えて、取り込んだデータをトレーニング、評価、テスト用に分割する方法や、データセットのバージョン管理についても解説があります。 第4章ではTensorFlow Data Validation (TFDV)を用いてデータセットの検証を行っています。 TFDVを用いてデータから要約統計量を計算し、データセットを表現するスキーマを生成しています。また、スキーマを元に同じ種類の2つのデータセット間(学習データセットと検証データセットや別日に収集された学習データセット)の差が許容されるものであるかをチェックしたり、TFDVを用いてデータセットを選択した特徴量でスライスし、データセットのバイアス

      「入門機械学習パイプライン」にSagemaker Studio Labで入門する | Amazon Web Services
    • Cloud RunでサーバレスMLOpsを試してみた - Qiita

      この記事はMLOps Advent Calendar 2020の17日目の記事です。 もともとはGoogle Cloudからもうすぐ出てくる予定のFeature Storeの紹介でも書こうかと思ったのですが、まだ出てこないな...と思ってたら、Google Cloud ソリューションアーキテクトの中井さん(@enakai00)がいい感じのサーバレスMLOpsソリューションをタイミングよく公開されてたので、紹介させていただくことにしました。 できた。https://t.co/COMDamTMQb This example shows how you can use Cloud Run and Cloud Workflows to create a simple ML pipeline. The ML usecase is based on the babyweight model examp

        Cloud RunでサーバレスMLOpsを試してみた - Qiita
      • Introducing AI Hub and Kubeflow Pipelines: Making AI simpler, faster, and more useful for businesses | Google Cloud Blog

        Introducing AI Hub and Kubeflow Pipelines: Making AI simpler, faster, and more useful for businesses Whether they’re revolutionizing the clothing manufacturing supply chain or accelerating e-commerce, businesses from every industry are increasingly turning to AI to advance what’s possible. Yet for many businesses, the complexities of fully embracing AI can seem daunting. Our goal is to put AI in r

          Introducing AI Hub and Kubeflow Pipelines: Making AI simpler, faster, and more useful for businesses | Google Cloud Blog
        • この1年の Amazon EKS アップデートを振り返る

          この1年の Amazon EKS アップデートを振り返る Amazon EKS Advent Calendar 2019 の1日目です. アメリカ時間だとまだ12/1なので許して… 他の AWS サービス同様、Amazon EKS もこの1年間で多くのアップデートを発表してきました. 本記事では、ざっくりとこの1年間の主なアップデートを振り返りつつ、いよいよ本日から開催される re:Invent に備えていこうではありませんかという、そんな目論見がございます. 日付順にアップデートを追って書いていたんですが、なんだか読みにくかったのでカテゴリごとに分けて書いていきます. 目次です. Security & Reliability Regions & Versions Nodes Storage & Networking Tooling Machine Learning その他 まとめ Sec

          • Open sourcing Kube2Hadoop: Secure access to HDFS from Kubernetes

            Open Source Open sourcing Kube2Hadoop: Secure access to HDFS from Kubernetes Co-authors: Cong Gu, Abin Shahab, Chen Qiang, and Keqiu Hu Editor's note: This blog has been updated. LinkedIn AI has been traditionally Hadoop/YARN based, and we operate one of the world’s largest Hadoop data lakes, with over 4,500 users and 500PB of data. In the last few years, Kubernetes has also become very popular at

              Open sourcing Kube2Hadoop: Secure access to HDFS from Kubernetes
            • AWSのコンテナ責任者が語るFargate、ECS、App Mesh、EKS、そしてKubernetes

              AWSのコンテナ責任者が語るFargate、ECS、App Mesh、EKS、そしてKubernetes:AWS Summit Tokyo 2019で聞いた(2/2 ページ) 「現在、モノリシックなアプリケーションを運用しており、今後どのようなアーキテクチャに移行しようか迷っているところがある。Fargateを使うか、ECS、あるいはEKSに移行するか、どんなマイクロサービスを使うか、即座に決めたくはない。そこで、まずApp Meshを適用した上で、ゆっくりとアプリケーションを小さな単位に切り出していく。こうすれば、App Meshによって管理される部分はそのままで、現在の状態から、将来進みたい方向への道筋を描くことができる。その上で、何をやっているかをより綿密に可視化し、トラフィックについてもよりきめ細かく制御できるようになる。はっきり言って、多くの顧客は現在のところ、マイクロサービス化

                AWSのコンテナ責任者が語るFargate、ECS、App Mesh、EKS、そしてKubernetes
              • メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング

                こんにちは!SouzohのMLチームでSoftware Engineerをしているwakanaです。 SouzohのMLチームは2021年4月にスタートし、ちょうど2年が経ちます。当時1人だったメンバーも、今では4人になり、レコメンデーションを中心に5, 6個の機能を提供するようになりました。MLOpsも成熟し、より新しく高度なML機能開発に集中して取り組める環境が整ってきていると感じています。 そこでこの記事では、立ち上げから2年たった今SouzohのPython, ML環境がどのようになっているか紹介しようと思います。これからPythonやMLのMonorepoでの開発環境を整えようとしている方、特に少人数での運用を考えてる方の参考になれば嬉しいです。 TL;DR SouzohではPoetry, Bazel, VertexAI Pipelinesで快適なMonorepo開発環境を実現

                  メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング
                • Using MLOps to Bring ML to Production/The Promise of MLOps

                  In this final Weave Online User Group of 2019, David Aronchick asks: have you ever struggled with having different environments to build, train and serve ML models, and how to orchestrate between them? While DevOps and GitOps have made huge traction in recent years, many customers struggle to apply these practices to ML workloads. This talk will focus on the ways MLOps has helped to effectively in

                    Using MLOps to Bring ML to Production/The Promise of MLOps
                  • AI Platform Pipelines の機械学習基盤への導入 - MicroAd Developers Blog

                    こんにちは、マイクロアド機械学習エンジニアチームの河本(@nnkkmto)です。今回、モデル学習における課題解決に向けて GCP における機械学習基盤に AI Platform Pipelines (Kubeflow Pipelines) を導入しました。今回はその内容について紹介します。 従来の方法 抱えていた課題 手段:AI Platform Pipelines 導入時の方向性 導入内容 実行処理 CI / CD 終わりに 参考 従来の方法 マイクロアドでは学習実行基盤として GCP (Google Cloud Platform) を採用しています。 定期的な学習が必要な推論モデルは、 AI Platform Training の単一の job として学習処理の含まれるイメージを cron 実行することで行っていました。 デプロイ・実行をまとめると以下のような構成になっています。 抱え

                      AI Platform Pipelines の機械学習基盤への導入 - MicroAd Developers Blog
                    • Kubernetes上で利用できる機械学習ツールキット「Kubeflow 1.0」リリース | OSDN Magazine

                      Kubernetes上で動作する機械学習ツールキット「Kubeflow」の開発チームは3月3日、「Kubeflow 1.0」を公開した。モデルの開発や実装のためのコア技術の安定性を図った。 Kubeflowは、Kubernetes上で機械学習のワークフローを実装するツールキット。2017年12月にオープンソースプロジェクトとして公開された。シンプル、拡張性、移植性にフォーカスし、すべてのKubernetes環境上で実行できることを目標としている。データサイエンス分野で広く使われている「Jupyter notebooks」との連携機能やTensorFlowモデルのトレーニング、学習モデルの「TensorFlow Serving」コンテナ形式でのエクスポート、機械学習ワークフローのデプロイや管理のための包括的なソリューションである「Kubeflow Pipelines」の提供といった機能が特徴

                        Kubernetes上で利用できる機械学習ツールキット「Kubeflow 1.0」リリース | OSDN Magazine
                      • インターン参加記 ~GPUクラスタ管理者への道~ - NTT Communications Engineers' Blog

                        はじめに こんにちは!イノベーションセンターテクノロジー部門 GPU-K8s Projectに二週間、インターン参加させていただいた石本直也と申します。 大学院では、WebAssemblyに関するObservabilityについて研究をしています。 今回の職場体験型インターンシップでは「モダンなICTインフラを支える技術の検証・開発(クラウド, コンテナ or データ基盤領域)」をテーマとして以下のことに取り組みました。 GPU ServerのWorker Nodeとしての設定(cuda,containerd,NVIDIA Container Toolkit) K8sクラスタへのGPU Worker Node追加 Ansibleでのセッティングの自動化 参考:職場体験型インターンシップとは? ドコモが仕掛ける数多くの事業の中から厳選したポストにて、実務を体験していただきます。 業務体験を通

                          インターン参加記 ~GPUクラスタ管理者への道~ - NTT Communications Engineers' Blog
                        • MLOpsの各社の定義まとめ - Qiita

                          CI: 継続的インテグレーション CD: 継続的デリバリー CT: 継続的トレーニング CM: 継続的監視 2.2 Facebook Facebookのエンジニアブログを検索しましたが、ヒットしませんでした。 FBLearnerでMLOpsを実践しているものの、定義を書いているわけではなさそうです。 2.3 Intel Intelのwebサイト内にてMLOpsで検索しましたが、SeldonのCTOの紹介と求人票以外はヒットしませんでした。 https://www.intel.com/content/www/us/en/search.html?ws=text#q=MLOps&t=All プロセッサを作るのがメインの会社だから、無くても仕方ないですね。 2.4 Microsoft 2.4.1 Microsoftの定義 MLOps:Azure Machine Learning を使用したモデル管

                            MLOpsの各社の定義まとめ - Qiita
                          • Google、「Cloud AI Platform Pipelines」ベータ版を発表! MLワークフロー作成を支援 | Techable(テッカブル)

                            Tech Google、「Cloud AI Platform Pipelines」ベータ版を発表! MLワークフロー作成を支援 Googleは、複雑な機械学習(ML)ワークフローの作成、管理を簡略化する「Cloud AI Platform Pipelines」のベータ版リリースした。 同サービスでは、MLワークフロー作成での全ステップ、データの準備と分析、トレーニング、評価、展開などを支援してくれ、再現性が高く堅牢なパイプライン展開が可能になる。 Cloud AI Platform Pipelinesの導入で、MLワークフローの作成や再利用にかかっていた労力が半減するかもしれない。 ・実行、評価、バージョン管理などの機能を提供Cloud AI Platform Pipelinesは、Google Cloudコンソールから利用でき、セキュアなMLワークフロー実行環境が簡単に用意できる。さらに

                              Google、「Cloud AI Platform Pipelines」ベータ版を発表! MLワークフロー作成を支援 | Techable(テッカブル)
                            • Preferred Networks

                              preferred networks pfn deep learning kubernetes 深層学習 chainer machine learning pfi optuna robotics ai pfiseminar jubatus gpu 材料探索 機械学習 bigdata natural language processing scheduler 東京大学 graph neural network hyperparameter ロボット 外観検査 computer vision chainer chemistry chainermn deepleanring deeplearning 自然言語処理 machinelearning super-computer neural network potential スパコン mn-core kaggle visual inspectio

                                Preferred Networks
                              • 【Kaggle】Katibで船コンペ銅メダル

                                Kaggle部作りましたこんにちはNTT研究所の大嶋です. 最近社内にKaggle部を作って同僚とKaggleに勤しんでいます.この度初参加したコンペの結果が出たのでその活動報告をしたいと思います. Kaggleとはもはや説明する必要も無いほど有名ですが,Wikipediaによると ”Kaggleは企業や研究者がデータを投稿し、世界中の統計家やデータ分析家がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォーム及びその運営会社である。” です. KubeFlow/KatibについてそもそもKaggleに参加しようと思ったきっかけは,私の開発するKubeflow/Kaitbの実験場として最高だと思ったからです.Katibは機械学習におけるハイパーパラメータチューニングを簡単かつ効率よく行うことを 目的としたOSSであり,私はメンテナの一人として活動しています.Katibの詳

                                  【Kaggle】Katibで船コンペ銅メダル
                                • Kubeflow

                                  What is Kubeflow?The Kubeflow project is dedicated to making deployments of machine learning (ML) workflows on Kubernetes simple, portable and scalable. Our goal is not to recreate other services, but to provide a straightforward way to deploy best-of-breed open-source systems for ML to diverse infrastructures. Anywhere you are running Kubernetes, you should be able to run Kubeflow. NotebooksKubef

                                  • Unity の BigQuery 導入事例 - ペタバイト規模のデータ分析に対応する仕組みと、レポート作成や機械学習への活用 | Google Cloud 公式ブログ

                                    Unity の BigQuery 導入事例 - ペタバイト規模のデータ分析に対応する仕組みと、レポート作成や機械学習への活用 ※この投稿は米国時間 2020 年 6 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 編集者注: 今回は、ゲーム、アーキテクチャ、映画などの産業向けに開発プラットフォームを提供している Unity Technologies にお話を伺います。エンジニアリングおよびデータ担当ディレクターを務める Sampsa Jaatinen 氏が、最新型テクノロジーの導入をテーマに、どの業界の意思決定者にとっても役立つ貴重なノウハウを公開しています。 Unity Technologies は、リアルタイム 3D(RT3D)コンテンツの作成、運用を行うための世界最先端のプラットフォームを提供しています。1 か月に数十億ものエンドポイントとやり取りす

                                      Unity の BigQuery 導入事例 - ペタバイト規模のデータ分析に対応する仕組みと、レポート作成や機械学習への活用 | Google Cloud 公式ブログ
                                    • The Winding Road to Better Machine Learning Infrastructure Through Tensorflow Extended and Kubeflow - Spotify Engineering

                                      The Winding Road to Better Machine Learning Infrastructure Through Tensorflow Extended and Kubeflow When Spotify launched in 2008 in Sweden, and in 2011 in the United States, people were amazed that they could access almost the world’s entire music catalog instantaneously. The experience felt like magic and as a result, music aficionados dug in and organized that content into millions of unique pl

                                        The Winding Road to Better Machine Learning Infrastructure Through Tensorflow Extended and Kubeflow - Spotify Engineering
                                      • モノレポの Python バージョンを 3.9 から 3.11 に上げる - CADDi Tech Blog

                                        はじめに AI Team MLOps Engineer の西原です。前回は kubeflow pipeline(kfp)のローカル環境での実行について Tech Blog を書きました。kfp は 2024 年に入ってからローカル環境の実行以外にも嬉しいアップデートがあったのでそれに少し絡めて今回の取り組みを紹介しようと思います。 今回の取り組みは、モノレポで使っている Python の最低バージョンを 3.9 から 3.11 に上げるというものです。なぜ、バージョンを上げたのか、上げる際の障壁とその対応を紹介しようと思います。 はじめに なぜ Python バージョンを上げたのか パッケージ更新を頻繁にする理由 パッケージの更新ができなくなった torchserve と各ソフトウェアのバージョン Python のバージョンをどこまで上げるか torchserve のコンテナイメージを自分

                                          モノレポの Python バージョンを 3.9 から 3.11 に上げる - CADDi Tech Blog
                                        • Vertex AIを活用したMLOpsの実現【前編】 | 株式会社CAM

                                          |目次 1. はじめに 2. MLOpsとは 3. VertexAIの概要 4. Vertex Pipelineについて -概要 -コンポーネントの実装例 -パイプラインの実装例 -Vertex PipelineでのKubeflow Pipelineの実行 5. まとめ 6. 参考資料 |1. はじめに 株式会社CAMで機械学習エンジニアをしています原 和希です。 データ分析から機械学習モデルの作成、そしてMLOps基盤の構築を担当しています。 今回はMLOps基盤の構築をトピックとして、弊社で導入している「VertexAI」という、GCP 上で MLOps 基盤を実現するためのサービスを紹介します。 本記事は前編と後編に分かれています。 この前編ではMLOpsについてと機械学習パイプラインを実現するためのサービスであるVertex Pipelineについて詳しく解説をします。 後編では、

                                            Vertex AIを活用したMLOpsの実現【前編】 | 株式会社CAM
                                          • Introducing the Kubernetes Podcast from Google | Google Cloud Blog

                                            With KubeCon in Copenhagen this week, it’s shaping up to be a busy week for Kubernetes news. Here’s another tidbit: Starting this week, we are launching the Kubernetes Podcast from Google, hosted by yours truly and Google Cloud Kubernetes advocacy lead, Craig Box. In this weekly conversation, we’ll focus on all the great things that are happening in the world of Kubernetes. From the news of the we

                                              Introducing the Kubernetes Podcast from Google | Google Cloud Blog
                                            • 機械学習デザインパターン

                                              本書は、機械学習で繰り返し登場する課題を30のパターン(データ表現、問題表現、モデルの訓練、再現性、対応性、運用性、説明性、公平性などに関するもの)に分類し、それぞれについてベストプラクティスを提示・解説するデザインパターン集です。すぐ動かせるコード例とデータセットを豊富に含み、手を動かしながら機械学習を学びたい初心者の実践的な入門書としても、現場のデータサイエンティストやエンジニアのリファレンスとしても有用な内容となっています。著者のGoogle Cloudのデータ分析&AI部門トップとしての豊富な経験に基づく実用本位の一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書

                                                機械学習デザインパターン
                                              • 入門 機械学習パイプライン

                                                機械学習を用いた本番システムの構築には、データの前処理やモデルの学習、デプロイなどのステップが必要です。しかし、これらのステップは手動で実行されることが多く、エラーの原因となっています。そこで本書では、TensorFlowのエコシステムを使用した機械学習パイプラインの構築方法について学びます。パイプラインを用いて各ステップを自動化することで、レガシーなシステムの保守から解放され、新しいモデルの開発に集中できるようになります。 賞賛の声 序文 訳者まえがき まえがき 1章 イントロダクション 1.1 機械学習パイプラインの必要性 1.2 機械学習パイプラインについて考えるべき時 1.3 機械学習パイプラインの各ステップの概要 1.3.1 データの取り込みとバージョン管理 1.3.2 データの検証 1.3.3 データの前処理 1.3.4 モデルの学習とチューニング 1.3.5 モデルの分析 1

                                                  入門 機械学習パイプライン
                                                • How to Deploy Machine Learning Models

                                                  Introduction The deployment of machine learning models is the process for making your models available in production environments, where they can provide predictions to other software systems. It is only once models are deployed to production that they start adding value, making deployment a crucial step. However, there is complexity in the deployment of machine learning models. This post aims to

                                                  • GitHub - jtoy/awesome-tensorflow: TensorFlow - A curated list of dedicated resources http://tensorflow.org

                                                    TensorFlow Tutorial 1 - From the basics to slightly more interesting applications of TensorFlow TensorFlow Tutorial 2 - Introduction to deep learning based on Google's TensorFlow framework. These tutorials are direct ports of Newmu's Theano TensorFlow Tutorial 3 - These tutorials are intended for beginners in Deep Learning and TensorFlow with well-documented code and YouTube videos. TensorFlow Exa

                                                      GitHub - jtoy/awesome-tensorflow: TensorFlow - A curated list of dedicated resources http://tensorflow.org
                                                    • Kubeflow Central Dashboard

                                                      Kubeflow Central Dashboard

                                                      • MLOps on Kubernetes with portable Profiles

                                                        This post introduces a new feature called Profiles, which allows you to create a specific Kubernetes application platform to meet your business needs. We show how you can enable machine learning operations or MLOps with specific Profiles for two different types of Kubernetes instances - EKS and Kubernetes with Firekube. If you ask an application developer what they want from Kubernetes, the answer

                                                          MLOps on Kubernetes with portable Profiles
                                                        • Introducing Kubeflow - A Composable, Portable, Scalable ML Stack Built for Kubernetes

                                                          This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. Introducing Kubeflow - A Composable, Portable, Scalable ML Stack Built for Kubernetes Kubernetes and Machine LearningKubernetes has quickly become the hybrid solution for deploying complicated workloads anywhere. While it starte

                                                            Introducing Kubeflow - A Composable, Portable, Scalable ML Stack Built for Kubernetes
                                                          • Red HatのCTOに聞いた、AI、マイクロサービス、サーバレス、IoT、そしてKubernetes

                                                            Red HatのCTOに聞いた、AI、マイクロサービス、サーバレス、IoT、そしてKubernetes:Red Hatは「オープンハイブリッドクラウド」を目指す ITの世界では新たな動きが次々に生まれ、それぞれが急速に進化しつつある。そして、新たな動きの大部分がオープンソースの世界で起きている。そこで、オープンソースソフトウェアに基づくエンタープライズIT製品/サービスで支持を高めているRed HatのCTO、クリス・ライト氏に、同社が何を考え、エンタープライズ顧客をどこに連れて行こうとしているのかを聞いた。 「AI/機械学習/ディープラーニング」「コンテナ」「マイクロサービス」「サーバレス」――。さまざまなバズワードが象徴するように、ITの世界では新たな動きが次々に生まれ、それぞれが急速に進化しつつある。そして、新たな動きの大部分がオープンソースの世界で起きていることは興味深い。 とはい

                                                              Red HatのCTOに聞いた、AI、マイクロサービス、サーバレス、IoT、そしてKubernetes
                                                            • AI Hub から Kubeflow Fairing を使ってタイタニック生存予測サービスを立ててみる @ Google Cloud Next'19参加レポ | PR Blog

                                                              AI Hub から Kubeflow Fairing を使ってタイタニック生存予測サービスを立ててみる @ Google Cloud Next’19参加レポ PR Blog 2019.04.24 アドベリフィケーション事業の井上です。 サンフランシスコで開催された Google Cloud Next’19 に参加してきました。 今回はなんと122以上にのぼる発表がありました。 Google CloudのChief Marketing OfficerであるAlison Wagonfeld氏 が 公式ブログにまとめてくださっています。 原文: News to build on: 122+ announcements from Google Cloud Next ‘19 日本語訳: Google Cloud Next ’19 で行った 122 の発表 新機能の概要はこちらの公式ブログをご覧になっ

                                                              • Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG

                                                                こんにちは、技術本部 データシステム部 MLOpsブロックの平田(@TrsNium)です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への移行 コンパイラのデータ型の制約が厳しくなった ContainerOp APIが非推奨になった Kubeflow PipelinesのPlaceholderを使用できなくなった 2. スケジュール実行されているワークフローへ前回実行分が終わるまでの待機処理を追加 3. Vertex

                                                                  Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG
                                                                • MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog

                                                                  MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア(機械学習 & MLOps領域)をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記

                                                                    MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
                                                                  • Kubeflow Central Dashboard

                                                                    Kubeflow Central Dashboard

                                                                    • Kubeflow Central Dashboard

                                                                      Kubeflow Central Dashboard

                                                                      • Kubeflow Central Dashboard

                                                                        Kubeflow Central Dashboard

                                                                        • Vertex Pipelines で動く Kubeflow Pipelines のサンプルを公開しました - Repro Tech Blog

                                                                          Repro AI Labs で Software Engineer として働いている杉山阿聖です。Repro では機械学習の基盤として GCP を用いています。今回は Google I/O 2021 で発表された Vertex AI のサービスのひとつである、機械学習パイプラインの構築・運用を行える Vertex Pipelines で動かせるサンプルを作成したのでその紹介をします。サンプルは次のリンクからお試しください。 reproio/lab_sample_pipelines この記事ではまず、機械学習パイプラインの主な要件について述べます。次に、機械学習パイプラインの構築で用いられる Kubeflow Pipelines について概要を述べます。最後に、機械学習パイプラインの構築にあたり理解が必要な Kubeflow Pipelines の仕様について、今回作成したパイプラインを例に

                                                                            Vertex Pipelines で動く Kubeflow Pipelines のサンプルを公開しました - Repro Tech Blog
                                                                          • Optuna on Kubeflow Pipeline 分散ハイパラチューニング

                                                                            社内の勉強会等で発表した内容を改変したものです。 MOVの「お客様探索ナビ」にOptunaを用いたハイパーパラメータチューニングを組み込んだ経緯、実際のチューニングフロー、コードベースでの解説、実験評価について、Optunaのチュートリアルを交えつつまとめました。 タイトルに分散とありますがKFP上の話なので厳密には並列です。Read less

                                                                              Optuna on Kubeflow Pipeline 分散ハイパラチューニング
                                                                            • 本当に小さく機械学習プロダクトを始めるには - Qiita

                                                                              TL;DR マイクロサービス基盤がない、潤沢にエンジニアリソースがない、そんな現場にも機械学習プロジェクトをいい感じにプロダクトに乗せていく今風のやり方について考えたい。そのために現状世の中にある機械学習ツールを俯瞰したい。 プロダクトに乗せるとすると、デプロイで終わりではなくて、モデル再学習やモニタリングなども含めて考えたい。 はじめに 機械学習のサービスは内部のアルゴリズムが複雑であっても、そのサービス自体に求められることが多くなかったり、学習と推論時で必要なリソースが異なったりというところからマイクロサービスアーキテクチャと相性が良いと言われています。実際に機械学習をプロダクトで使うことについて意欲的に取り組んでいる企業、特にWeb系企業では既にマイクロサービスアーキテクチャを採用した基盤があり、その上で効率的に機械学習モデルをデプロイするための方法を検討しています。一方で、そうでな

                                                                                本当に小さく機械学習プロダクトを始めるには - Qiita
                                                                              • Ubuntu 19.10がリリース、ラズパイ4やMicroK8sサポートでエッジ領域を強化

                                                                                Linuxカーネル「Linux 5.3」の採用 Toolchainを最新パッケージにアップデート デスクトップ環境「GNOME 3.34」の採用(デスクトップ版) インストールイメージにNVIDIA製商用ドライバを導入(デスクトップ版) ルートファイルシステムとしてZFSの実験的サポート(デスクトップ版) 最新のクラウド基盤ソフトウェア「OpenStack Train」の採用(サーバ版) セキュリティアップデート MicroK8sはCanonicalが開発するエッジ向けKubernetes環境。Ubuntuではパッケージ管理システム「Snap」からインストールできる。Istio、Knative、CoreDNS、Prometheus、Jaegerなどのアドオンが整備され、単一コマンドでセキュアなデプロイを可能とする。また、Kubernetes上で機械学習環境を構築する「Kubeflow」もM

                                                                                  Ubuntu 19.10がリリース、ラズパイ4やMicroK8sサポートでエッジ領域を強化
                                                                                • Kubernetesドリブンの機械学習プラットフォーム「Seldon」を触ってみる - Qiita

                                                                                  こうして比較すると「うーん、ちょっとなー…」という感じですが、実際に触ってみるとシンプルなしくみでわかりやすく、意外となんとかなりそうでした。 「PredictioIOの仕組みは複雑すぎる…」と感じた方や、「基本的にはPythonベースでやりたい」という方は、是非一度触ってみて頂きたいと思います。 知見増えろの意 Seldonを触ってみる というわけで、動作確認を行いました。 自作PC (i7-4790 @ 3.60GHz, SSD) (メモリ 32GB) Windows 10 Pro 64bit Hyper-V コンソール環境 Cygwin Python 2.7.13 make, htpasswd(httpd-tools), (jq) Kubernetes Minikube v0.20.0 Kubectl v1.6.3 ドキュメントには「minicubeで動かす場合最低12GBのメインメ

                                                                                    Kubernetesドリブンの機械学習プラットフォーム「Seldon」を触ってみる - Qiita