機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
「Kubeflow 1.0」正式版リリース。あらゆるKubernetes上にJupyter notebookなど機械学習の開発、トレーニング、デプロイ機能を構築
「Kubeflow 1.0」正式版リリース。あらゆるKubernetes上にJupyter notebookなど機械学習の開発、トレーニング、デプロイ機能を構築 Kubeflow開発チームは、Kubeflow 1.0の正式リリースを発表しました。 Today, Kubeflow 1.0 has been released. Check out this deep-dive to learn the core set of applications included in the open-source release, and the advantages of using it on Anthos for the enterprise → https://t.co/XV0HPvsWX9 pic.twitter.com/O2s5tpzFLz — Google Cloud Platform
AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 - ZOZO TECH BLOG
ZOZOテクノロジーズ推薦基盤チームの寺崎（@f6wbl6）です。ZOZOでは現在、米Yale大学の経営大学院マーケティング学科准教授である上武康亮氏と「顧客コミュニケーションの最適化」をテーマに共同研究を進めています。 推薦基盤チームでは上武氏のチームで構築した最適化アルゴリズムを本番環境で運用していくための機械学習基盤（以下、ML基盤）の設計と実装を行っています。本記事ではML基盤の足掛かりとして用いたAI Platform Pipelines (Kubeflow Pipelines) の概要とAI Platform Pipelinesの本番導入に際して検討したことをご紹介し、これからKubeflow Pipelinesを導入しようと考えている方のお役に立てればと思います。記事の最後には、推薦基盤チームで目指すMLプロダクト管理基盤の全体像について簡単にご紹介します。 上武氏との共同研
When Manny Griffiths worked with a personal injury lawyer after his wife’s car accident, he was surprised by the lack of information and communication from their lawyer regarding their claim.… Proton, the Swiss company behind a suite of privacy-focused apps such as ProtonMail, is following in the footsteps of Signal and Mozilla by transitioning to a new non-profit foundation model. The newly setup
はじめに こんにちは。SRE部MLOpsチームの中山（@civitaspo）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課題を共有します。 目次 はじめに 目次 MLOpsチームを取り巻く状況 MLOps基盤の要件 MLOps基盤技術としてのKubeflow Kubeflowの構築 ドキュメント通りにKubeflowを構
メルカリ機械学習エンジニアの @hurutoriya です。 2018/09/01 に開催された GDG Dev Fest 2018 で Kubeflow について登壇してきました。 ML Sessions | GDG DevFest 2018 Tokyo 発表資料 www.slideshare.net Kubeflowについての基礎的な説明は発表資料で行っているので、ぜひご覧ください。 発表内容は、機械学習をサービスとして提供する際にいろんな壁が存在していますが、その壁をぶっ壊すのが Kubeflow だ! という流れで発表をしてきました。 僕自身が機械学習エンジニアということもあり、k8sを知り尽くしているわけではなく、あくまで機械学習エンジニアとして Kubeflowの所感を共有させていただきました。 僕自身がKubeflowに興味をもった背景としては、メルカリでは機械学習基盤の開発
KubeCon＋CloudNativeConにおいて、Kubernetes上で機械学習を実現するKubeflowが紹介された。 Kubernetesを中心としたクラウドネイティブなソフトウェアのカンファレンスであるKubeCon＋CloudNativeCon、3日目のハイライトはなんと言ってもKubeflowだろう。朝9時から始まったキーノートの最初に登壇したGoogleのDavid Aronchick氏は、「KubeConには第1回から参加している」と語り、Kubernetesの盛り上がりに驚きを隠せないようだった。今回は、Kubernetesとともに今最も注目を集めている機械学習をクラウドネイティブにするという、Kubeflowを紹介するセッションとなった。 最初に紹介したのは、機械学習を使う効果だ。Googleのデータセンターの消費電力について、機械学習で制御を行った場合と、人手で制
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）
速習！論理レプリケーション ～基礎から最新動向まで～（PostgreSQL Conference Japan 2022 発表資料）
2018年11月8日に行われ盛況のうちに幕を閉じた「Red Hat Forum 2018 Tokyo」。そのセッションの一つとして開催されたのがパネルディスカッション「AI/マシンラーニング開発基盤を支える技術 ～Kubernetesが創るGPUコンテナの未来～」だ。エヌビディア（NVIDIA）、Preferred Networks（PFN）、日本ヒューレット・パッカード（HPE）、レッドハットという各分野のエキスパートが、AI、マシンラーニング（機械学習）、ディープラーニング（深層学習）において、コンテナがどのような効果をもたらすのか、現在の課題や今後の展望を語った。 登壇者は以下の通り。モデレーターは＠IT編集部 エグゼクティブエディターの三木泉（以下、三木）が務めた。今回はTwitterのハッシュタグ「#RHF_TECH」を使って会場からリアルタイムで質問も募った。 登壇者 大村伸吾
はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦アルゴリズムの改善を中心に機械学習を活用してアプリのサービス改善を日々行っています。過去にはチームが独立しており開発者も少数であったことから各チームがJupyter Notebook等でオフライン実験を行い、良い結果のものは本番環境に適用するためプロダクションコードを書き、レビューを行い、本番環境でA/Bテストするという流れでした。最近は開発者の人数も増え横断的にアプリのサービスを改善しているので、より効率的なMLOps基盤が求められています。 はじめに MLOpsとは 実現
KARTEにおけるフロントエンドと連携させたKubeflow Pipelineの活用方法について解説します
KubeflowとJupyter Enterprise GatewayでJupyter Notebook環境をさらに便利に | CyberAgent Developers Blog
KubeflowとJupyter Enterprise GatewayでJupyter Notebook環境をさらに便利に AI事業本部のインフラ組織SIAでエンジニアをしている牧垣です。 はじめに Jupyter Notebookは機械学習・データ解析の分野ではすっかり空気のようなインフラになりました。仮説・実験・考察のサイクルを回しやすいので、科学分野では昔から人気があります。コードと結果が可視化できるという基本機能そのものに、作業ログや手順書・使い方ドキュメントなど、他分野での需要もあります。 夢を膨らませると用途はまだまだ思いつきそうですが、つまり「複数人で同じものを見て、同じ認識をすることができる」というのがJupyter Notebookの良いところです。「あの件、どうだった？」「あ、たぶん大丈夫だと思います」といったあやしげな状態になりにくくなります。また、可視化が容易な点も
Googleは7月10日、オープンソースプロジェクトのドキュメント公開に向けたWebサイトテーマ「Docsy」を公開した。ドキュメントを公開するサイトを簡単に立ち上げて運用できるという。 Docsyは技術文書を公開するようなWebサイトのためのテーマで、Webサイト構築のためのフレームワーク「Hugo」をベースとする。Googleは2000以上のオープンソースプロジェクトを抱えており、ドキュメンテーション作成と公開のためのツールが必要だったことから構築したとのこと。技術文書向けのテンプレートとガイドを備えており、すでにKubeflow、Knative、Agonesなどのプロジェクトで利用しているという。 ナビゲーション、サイト構造などの機能を提供するほか、多言語にも対応する。ページの追加、ドキュメンテーションの構造化、コミュニティからの貢献などについてもガイドを提供するという。 Docsy
Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。後半は実際の機械学習の方法について。関連資料1、関連資料2 リソースとコストの最適化、そして、機械学習ジョブの実行方法 服部圭悟氏（以下、服部）：では続いて、「リソースとコストをどう最適化するか？」と「機械学習ジョブをどう実行するか？」を同時に説明したいと思います。 やりたいこととしては、可能なかぎりコストを抑えて、でも安定した計算機クラスタを作りたい。安かろう悪かろうじゃダメってことですね。 それからスケーリ
ゼロから始める Kubeflow での 機械学習パイプライン構築
AI事業本部におけるGPU活用の取り組みとKubernetes - CloudNative Days Spring 2021 Online / cndo2021-ca-ml-gpuaas-aiplatform
AI事業本部におけるGPU活用の取り組みとKubernetes at CloudNative Days Spring 2021 Online Speaker: 青山 真也・李 榮宰・高橋 大輔 Video: https://event.cloudnativedays.jp/cndo2021/talks/451 サイバーエージェント AI事業本部では、広告領域を始めとして、様々な領域での機械学習のワークロードが増えています。研究者・データサイエンティスト・プロダクト開発者など様々なメンバーが機械学習を利用するなか、利便性の高いGPU/ML環境の提供は欠かせません。 現在に至るまでAI事業本部におけるオンプレGPU環境は様々な変遷があり、現在は2020年にリリースされた NVIDIA A100を利用しNetApp TridentとKubernetesをあわせてGPU/ML環境の提供を開始してい
2018/09/01 に発表した資料です。 GDG DevFest 18 Tokyo Machine Learning Session site: https://tokyo2018.gdgjapan.org/ml 発表資料 Google Slide: https://docs.google.com/presentation/d/e/2PACX-1vQoGOjPBxkcPLnpRvI39OXbILRAu_Amea_Z9wvhs7pIH6bH5_KQFa4HIwYKGYU8w-x1C-0eiV-k9GCL/pub?start=false&loop=false&delayms=3000Read less
GitHub - kubeflow/kubeflow: Machine Learning Toolkit for Kubernetes
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Kubeflow
What is Kubeflow?The Kubeflow project is dedicated to making deployments of machine learning (ML) workflows on Kubernetes simple, portable and scalable. Our goal is not to recreate other services, but to provide a straightforward way to deploy best-of-breed open-source systems for ML to diverse infrastructures. Anywhere you are running Kubernetes, you should be able to run Kubeflow. NotebooksKubef
AI Hub から Kubeflow Fairing を使ってタイタニック生存予測サービスを立ててみる @ Google Cloud Next'19参加レポ | PR Blog
AI Hub から Kubeflow Fairing を使ってタイタニック生存予測サービスを立ててみる @ Google Cloud Next’19参加レポ PR Blog 2019.04.24 アドベリフィケーション事業の井上です。 サンフランシスコで開催された Google Cloud Next’19 に参加してきました。 今回はなんと122以上にのぼる発表がありました。 Google CloudのChief Marketing OfficerであるAlison Wagonfeld氏 が 公式ブログにまとめてくださっています。 原文: News to build on: 122+ announcements from Google Cloud Next ‘19 日本語訳: Google Cloud Next ’19 で行った 122 の発表 新機能の概要はこちらの公式ブログをご覧になっ
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
社内の勉強会等で発表した内容を改変したものです。 MOVの「お客様探索ナビ」にOptunaを用いたハイパーパラメータチューニングを組み込んだ経緯、実際のチューニングフロー、コードベースでの解説、実験評価について、Optunaのチュートリアルを交えつつまとめました。 タイトルに分散とありますがKFP上の話なので厳密には並列です。Read less
こうして比較すると「うーん、ちょっとなー…」という感じですが、実際に触ってみるとシンプルなしくみでわかりやすく、意外となんとかなりそうでした。 「PredictioIOの仕組みは複雑すぎる…」と感じた方や、「基本的にはPythonベースでやりたい」という方は、是非一度触ってみて頂きたいと思います。 知見増えろの意 Seldonを触ってみる というわけで、動作確認を行いました。 自作PC (i7-4790 @ 3.60GHz, SSD) (メモリ 32GB) Windows 10 Pro 64bit Hyper-V コンソール環境 Cygwin Python 2.7.13 make, htpasswd(httpd-tools), (jq) Kubernetes Minikube v0.20.0 Kubectl v1.6.3 ドキュメントには「minicubeで動かす場合最低12GBのメインメ
Coauthors: Jeremy Lewi (Google), Josh Bottum (Arrikto), Elvira Dzhuraeva (Cisco), David Aronchick (Microsoft), Amy Unruh (Google), Animesh Singh (IBM), and Ellis Bigelow (Google). On behalf of the entire community, we are proud to announce Kubeflow 1.0, our first major release. Kubeflow was open sourced at Kubecon USA in December 2017, and during the last two years the Kubeflow Project has grown b
Try Gemini 1.5 models, our newest multimodal models in Vertex AI, and see what you can build with a 1M token context window
Kubeflow Meetup #1 でコンテナネイティブなワークフローエンジン Argo について発表してきました | メルカリエンジニアリング
ドーモ、ミナ＝サン。 機械学習エンジニアの @hurutoriya です。 先日PFNさんのオフィスで開催された Kubeflow Meetup #1（Cloud Native Meetup Tokyo #5） – connpass に登壇してきました。 発表内容は Kubeflow Family の一つである コンテナネイティブなワークフローエンジン Argoについての紹介をさせていただきました。 argoproj.github.io Kubeflow/Katib Owner の @overs_5121 さん、ご招待いただきありがとうございました! 発表資料は公開しているので、ぜひご覧下さい。 www.slideshare.net *発表動画も公開される予定なので、公開され次第追記します。 機械学習システムにおけるワークフローエンジンの必要性 Argo自体まだ発展途上のOSSですが、機械
会計サービスをはじめ、バックオフィス向けクラウドソフトを提供するfreee。単純作業を効率化し、ユーザーが本質的な仕事に集中できる環境を提供するために、AI技術を駆使したさまざまな取り組みがなされている。 「ユーザーにとって本質的に価値があること（同社では「マジ価値」と呼ばれる）を届けきる」をコミットメントとして掲げる同社の、AI技術を使ったアプローチ方法を連載形式でお届けする。 第3回のテーマは、機械学習の開発環境。 機械学習やディープラーニングの自社開発を続けるうえで、その開発環境について考えるべき事項は多い。データ基盤の開発に始まり、分析やモデル開発、運用までスムースにこなせることに加えて、さまざまなアプリケーションやデータベースとの接続といった部分への配慮も欠かせない。 今回はfreeeの機械学習開発・研究を支えるインフラ基盤とその仕組みを同社AIラボの田中浩之氏に紹介いただく。
kubeflow 触ってみた - Qiita
この記事は TensorFlow Advent Calendar 2017の最終日の記事です。 何を書こうか迷っていたのですが、最近 kubeflow というものを知ったので、それについて書こうと思います。 機械学習システムの実運用 TensorFlowが公開されて2年ほど経ち、いろいろな事例が出てくるようになりました。昨年度は、いわゆるPOC(Proof of Concept)の事例が多かったように思いますが、徐々にビジネスで本格的に深層学習を使っているような事例も出てくるようになってきており、今後は深層学習のアルゴリズムそのものではなく、如何に実システムに組み込み運用するか、という観点も重要になってくるだろうと思います。 言い古された話ですが、機械学習を本番に導入して運用していくには、いろいろんはハードルがあります。このあたりは2014年にGoogleから出された論文「Machine
TensorFlowをKubernetesで分散学習するためのKubeFlowを動かしてみた話 - あさのひとりごと
Kubernetesが機械学習基盤としてKubeflowをリリースしました。 ざっくりいうと、KubeFlowは以下の機械学習アプリケーション開発の一連のワークロードをサポートするOSSです。 モデル開発基盤 データサイエンティストや機械学習エンジニアがJupyterNotebookをつかってモデル開発するための、Jupyterが動くサーバ環境を提供 TensorFlow分散学習基盤 開発したモデルをTensorFlowで分散学習するためのKubernetesクラスタを自動生成 アプリ公開基盤 学習済みモデルをKubernetesクラスタ上でサービス公開する基盤を提供(Tensorflow Serving) github.com まだ、開発途中、かつざっとしか追えていませんが、導入のしかたと概要をまとめます。 0. kubeFlow環境構築 Kubeflowを動かすためには、まずKuber
Polyaxon + Kubeflow を利用した効率的な継続的モデルインテグレーション / Continuous ML Model Integration with Polyaxon and Kubefolow Pipelines
第9回 MLOps 勉強会 Tokyo (Online)： https://mlops.connpass.com/event/215133/ でトークした際の資料です
Getting started with Kubeflow Pipelines | Google Cloud Blog
While model construction and training are essential steps to building useful machine learning-driven applications, they comprise only a small part of what you need to pay attention to when building machine learning (ML) workflows. To address that need, last week we announced AI Hub and Kubeflow Pipelines—tools designed with not only data scientists, but software and data engineers in mind—that hel
GitHub - kubeflow/fairing: Python SDK for building, training, and deploying ML models
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに AIの発展に伴い、MLOpsに関する話題も盛んになってきています。ただ、ほとんどは本番環境用の話題で、開発環境整備についての話題が少ないように感じました。本番環境と違い、開発環境の整備はあまり重要視されてない場面も多いような気がしますが（Notebookで全部やってるなど）、研究開発環境も整ってないとすぐに深刻な状況になっていってしまうと思います。 そこで本記事では、開発環境整備の重要性と方法について書いてみようと思います。話題のKubeflow Pipelines（GCP AI-Platform Pipelines）、CloudTPU、TensorFlow等、これらの技術を使って環境構築を行なってきたのでその話をします。（互いに親和性が高く、やりたいことが十分に行えるため選定しました） 要約：現在の研究開発環境 これらの技術を使えば、簡単に以下のことができるようになります。 1
KueCon 2020 NA Recap - Building a Global Supercomputer with Virtual Kubelet /...
受託分析屋がKubeflowを使って思うこと_KubeflowMeetup_1.pdf - Speaker Deck
Kubeflowでモデルをデプロイする時に必要になってくる、学習(実験)の管理やモデル管理について話しました
Cloud AI Platform Pipelines now available in beta | Google Cloud Blog
When you're just prototyping a machine learning (ML) model in a notebook, it can seem fairly straightforward. But when you need to start paying attention to the other pieces required to make a ML workflow sustainable and scalable, things become more complex. A machine learning workflow can involve many steps with dependencies on each other, from data preparation and analysis, to training, to evalu
Introducing Kubeflow - A Composable, Portable, Scalable ML Stack Built for Kubernetes
This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. Introducing Kubeflow - A Composable, Portable, Scalable ML Stack Built for Kubernetes Kubernetes and Machine LearningKubernetes has quickly become the hybrid solution for deploying complicated workloads anywhere. While it starte
CIU Tech Meetup #1 (https://cyberagent.connpass.com/event/283317/) で発表した資料です。
Announcing Kubeflow 0.1
By Jeremy Lewi (Google), David Aronchick (Google) | Friday, May 04, 2018 Since Last We MetSince the initial announcement of Kubeflow at the last KubeCon+CloudNativeCon, we have been both surprised and delighted by the excitement for building great ML stacks for Kubernetes. In just over five months, the Kubeflow project now has: 70+ contributors20+ contributing organizations15 repositories3100+ Git
Amazon EKSでKubeflowを立ち上げてJupyter Notebookを触るまでの道のり -Kubeflow v1.0.1 Released-
COVID-19でリモートワークが推奨されているため自宅にこもりがちです。self-isolateするだけでなくself-studyに最適な時機なのではないでしょうか。そんなわけで以前より興味のあったKubeflowをEKSのKubernetesクラスタ上に設置して簡単なJupyter Notebookを作るテストを行ってみました。KubeflowはKubernetes上で機械学習のモデル開発やエンドポイントのデプロイをサポートするオープンソースのシステムです。データサイエンスの職能領域は主にビジネス寄りとされるデータサイエンティストとエンジニア寄りの機械学習エンジニアに枝分かれして語られます。機械学習エンジニア領域ではMLOpsの興隆と共に実際に構築したモデルを運用しテストおよび改善していく必要性が以前にも増して高まってきているようです。Amazon Sagemakerのようなマネージド
Kubernetes ベースの機械学習基盤 Kubeflow をラップトップにデプロイする - kondoumh のブログ
機械学習を業務に適用するには、データの収集、機械学習モデルの作成、機械学習モデルを利用する API 開発、API を利用するアプリ開発、プロダクションへの適用、運用時の経年変化によるモデルの修正 といったプロセスで進めることになります。 Kubeflow は機械学習モデル作成、API 開発とデプロイまでをカバーする基盤ソフトウェアです。その実体は数多くの OSS の 集合体 (best-of-breed *1 ) となっています。 www.kubeflow.org Kubeflow はその名の通り Kubernetes ネイティブなアプリなので Kubernetes クラスターにデプロイして使用します。GCP / EKS / AKS といったメジャーなマネージド Kubernetes はもちろん、ローカルの Minikube、kind *2 などにデプロイ可能です。 残念ながら現状、Doc
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
TechCrunch | Startup and Technology News
KubeflowによるMLOps基盤構築から得られた知見と課題 - ZOZO TECH BLOG
機械学習ツールキット KubeflowについてGDG DevFest18 で登壇してきました
Kubernetesで機械学習を実現するKubeflowとは？
AI／機械学習にコンテナは必要か？――4人のスペシャリストが語るGPUコンテナの未来
MLOps 海外テック企業の事例とフレームワークの紹介 - Gunosyデータ分析ブログ
KARTEにおけるKubeflow Pipelineの活用 | PLAID engineer blog
Google、技術文書を公開するようなWebに向けたテンプレート集「Docsy」を公開 | OSDN Magazine
分散学習にはHorovodを使う 文献から学ぶクラウド機械学習のベストプラクティス
ゼロから始める Kubeflow での機械学習パイプライン構築
Kubeflowで何ができて何ができないのか #DEvFest18
Kubernetesドリブンの機械学習プラットフォーム「Seldon」を触ってみる - Qiita
Kubeflow 1.0: Cloud Native ML for Everyone
Google Prediction API — Google Developers
開発スピードを止めない機械学習インフラ基盤――freeeに学ぶAI開発で本質的価値を提供する方法 | Ledge.ai
Kubeflow Pipelinesで快適なAI研究開発環境の整備を進めた話 - Qiita
KubeFlowでどこまでいける？
Evolving ML Platform with OSS Upstream Community