並び順

ブックマーク数

期間指定

  • から
  • まで

121 - 160 件 / 336件

新着順 人気順

Kubeflowの検索結果121 - 160 件 / 336件

  • Kubeflow Central Dashboard

    Kubeflow Central Dashboard

    • Kubeflow Central Dashboard

      Kubeflow Central Dashboard

      • Kubeflow Central Dashboard

        Kubeflow Central Dashboard

        • Ubuntu 19.10がリリース、ラズパイ4やMicroK8sサポートでエッジ領域を強化

          Linuxカーネル「Linux 5.3」の採用 Toolchainを最新パッケージにアップデート デスクトップ環境「GNOME 3.34」の採用(デスクトップ版) インストールイメージにNVIDIA製商用ドライバを導入(デスクトップ版) ルートファイルシステムとしてZFSの実験的サポート(デスクトップ版) 最新のクラウド基盤ソフトウェア「OpenStack Train」の採用(サーバ版) セキュリティアップデート MicroK8sはCanonicalが開発するエッジ向けKubernetes環境。Ubuntuではパッケージ管理システム「Snap」からインストールできる。Istio、Knative、CoreDNS、Prometheus、Jaegerなどのアドオンが整備され、単一コマンドでセキュアなデプロイを可能とする。また、Kubernetes上で機械学習環境を構築する「Kubeflow」もM

            Ubuntu 19.10がリリース、ラズパイ4やMicroK8sサポートでエッジ領域を強化
          • Vertex Pipelines で動く Kubeflow Pipelines のサンプルを公開しました - Repro Tech Blog

            Repro AI Labs で Software Engineer として働いている杉山阿聖です。Repro では機械学習の基盤として GCP を用いています。今回は Google I/O 2021 で発表された Vertex AI のサービスのひとつである、機械学習パイプラインの構築・運用を行える Vertex Pipelines で動かせるサンプルを作成したのでその紹介をします。サンプルは次のリンクからお試しください。 reproio/lab_sample_pipelines この記事ではまず、機械学習パイプラインの主な要件について述べます。次に、機械学習パイプラインの構築で用いられる Kubeflow Pipelines について概要を述べます。最後に、機械学習パイプラインの構築にあたり理解が必要な Kubeflow Pipelines の仕様について、今回作成したパイプラインを例に

              Vertex Pipelines で動く Kubeflow Pipelines のサンプルを公開しました - Repro Tech Blog
            • RailsGirls から始める エンジニアリングはじめの一歩

              入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)NTT DATA Technology & Innovation

                RailsGirls から始める エンジニアリングはじめの一歩
              • Optuna on Kubeflow Pipeline 分散ハイパラチューニング

                社内の勉強会等で発表した内容を改変したものです。 MOVの「お客様探索ナビ」にOptunaを用いたハイパーパラメータチューニングを組み込んだ経緯、実際のチューニングフロー、コードベースでの解説、実験評価について、Optunaのチュートリアルを交えつつまとめました。 タイトルに分散とありますがKFP上の話なので厳密には並列です。Read less

                  Optuna on Kubeflow Pipeline 分散ハイパラチューニング
                • 本当に小さく機械学習プロダクトを始めるには - Qiita

                  TL;DR マイクロサービス基盤がない、潤沢にエンジニアリソースがない、そんな現場にも機械学習プロジェクトをいい感じにプロダクトに乗せていく今風のやり方について考えたい。そのために現状世の中にある機械学習ツールを俯瞰したい。 プロダクトに乗せるとすると、デプロイで終わりではなくて、モデル再学習やモニタリングなども含めて考えたい。 はじめに 機械学習のサービスは内部のアルゴリズムが複雑であっても、そのサービス自体に求められることが多くなかったり、学習と推論時で必要なリソースが異なったりというところからマイクロサービスアーキテクチャと相性が良いと言われています。実際に機械学習をプロダクトで使うことについて意欲的に取り組んでいる企業、特にWeb系企業では既にマイクロサービスアーキテクチャを採用した基盤があり、その上で効率的に機械学習モデルをデプロイするための方法を検討しています。一方で、そうでな

                    本当に小さく機械学習プロダクトを始めるには - Qiita
                  • Kubernetesドリブンの機械学習プラットフォーム「Seldon」を触ってみる - Qiita

                    こうして比較すると「うーん、ちょっとなー…」という感じですが、実際に触ってみるとシンプルなしくみでわかりやすく、意外となんとかなりそうでした。 「PredictioIOの仕組みは複雑すぎる…」と感じた方や、「基本的にはPythonベースでやりたい」という方は、是非一度触ってみて頂きたいと思います。 知見増えろの意 Seldonを触ってみる というわけで、動作確認を行いました。 自作PC (i7-4790 @ 3.60GHz, SSD) (メモリ 32GB) Windows 10 Pro 64bit Hyper-V コンソール環境 Cygwin Python 2.7.13 make, htpasswd(httpd-tools), (jq) Kubernetes Minikube v0.20.0 Kubectl v1.6.3 ドキュメントには「minicubeで動かす場合最低12GBのメインメ

                      Kubernetesドリブンの機械学習プラットフォーム「Seldon」を触ってみる - Qiita
                    • Kubeflow 1.0: Cloud Native ML for Everyone

                      Coauthors: Jeremy Lewi (Google), Josh Bottum (Arrikto), Elvira Dzhuraeva (Cisco), David Aronchick (Microsoft), Amy Unruh (Google), Animesh Singh (IBM), and Ellis Bigelow (Google). On behalf of the entire community, we are proud to announce Kubeflow 1.0, our first major release. Kubeflow was open sourced at Kubecon USA in December 2017, and during the last two years the Kubeflow Project has grown b

                        Kubeflow 1.0: Cloud Native ML for Everyone
                      • 機械学習基盤/MLOpsまわりの勉強をしたときに参考にさせていただいた記事(2018.12時点) - Qiita

                        はじめに 機械学習基盤/MLOpsについて知らなければと思い立ち、勉強したときに参考にさせていただいた記事の自分用メモです。 1. アーキテクチャ例 Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する 概要 「本連載では、Apache Airflowを用いて機械学習の専門家ではないユーザー(=エンドユーザー)が、機械学習を活用するためのパイプラインの構築を目指します。」 ポイント、所感 既存の機械学習パイプラインがどのような処理を行なっているかをサーベイし、それを受けてApache Airflowで構築した事例 機械学習パイプライン全体を俯瞰することができる Airflow流行っている?AWSでもマネージドサービス出して欲しい、、、。 関連技術 Airflow,機械学習パイプライン Jupyter だけで機械学習を実サービス展開できる基盤 概要 GCPを活用

                          機械学習基盤/MLOpsまわりの勉強をしたときに参考にさせていただいた記事(2018.12時点) - Qiita
                        • Kubeflow Meetup #1 でコンテナネイティブなワークフローエンジン Argo について発表してきました | メルカリエンジニアリング

                          ドーモ、ミナ=サン。 機械学習エンジニアの @hurutoriya です。 先日PFNさんのオフィスで開催された Kubeflow Meetup #1(Cloud Native Meetup Tokyo #5) – connpass に登壇してきました。 発表内容は Kubeflow Family の一つである コンテナネイティブなワークフローエンジン Argoについての紹介をさせていただきました。 argoproj.github.io Kubeflow/Katib Owner の @overs_5121 さん、ご招待いただきありがとうございました! 発表資料は公開しているので、ぜひご覧下さい。 www.slideshare.net *発表動画も公開される予定なので、公開され次第追記します。 機械学習システムにおけるワークフローエンジンの必要性 Argo自体まだ発展途上のOSSですが、機械

                            Kubeflow Meetup #1 でコンテナネイティブなワークフローエンジン Argo について発表してきました | メルカリエンジニアリング
                          • 現場の視点で機械学習に必要な知識を学べる「仕事ではじめる機械学習 第2版」を読んだ - kakakakakku blog

                            「仕事ではじめる機械学習 第2版」を読んだ.実は「第1版」を買ってずっと積読をしていたところに「第2版」が出たので書い直した📖書名に「仕事ではじめる」と書いてある通り,現場の視点で理解しておくべき「機械学習」の知識がまとまっていて良かった.そして,本当に読みやすく挫折させないように工夫して書かれているのも素晴らしかった!読書メモを見返しながら書評記事をまとめる. 仕事ではじめる機械学習 第2版 作者:有賀 康顕,中山 心太,西林 孝オライリージャパンAmazon 目次 「第I部」では幅広く知識を学び「第II部」ではケーススタディから学ぶ.流れるように最後まで読み進めることができる.「第1版」と比較すると「MLOps」や「解釈性」など,重要なトピックが追加されているため,間違いなく「第2版」を読むべきだと思う. また本書を読んでいて個人的に感じたのは「関連するけど詳しくは扱わないトピック」

                              現場の視点で機械学習に必要な知識を学べる「仕事ではじめる機械学習 第2版」を読んだ - kakakakakku blog
                            • 京都のIT系学生コミュニティ CAMPHOR- さんとイベントを共催しました - MicroAd Developers Blog

                              こんにちは、まっつーです。10/5(土)に京都のIT系学生コミュニティ CAMPHOR-さんと「ネット広告を支える技術を知る」のテーマでイベントを共催させて頂きました。 マイクロアドのエンジニア3人で登壇して参りましたので、その時の様子や発表内容をご紹介したいと思います。 はじめに 今年の2月頃にCAMPHOR-さんにお声掛けして、イベント開催の提案をさせて頂きました。マイクロアドとしてはアドテクの面白さをもっと知ってもらいたい想いと、学生さんとコミュニケーションが取れる場になればと考えておりました。 そういった意図をお話させてもらい、CAMPHOR-さんから無事ご快諾頂くことが出来まして、開催の運びとなりました。 当日はCAMPHOR-さん提供のCAMPHOR- HOUSEにお邪魔しました。会場内は少し暗めな照明と温もりのある畳も相まって、集中出来そうな空間でした。学生時代に知っていれば

                                京都のIT系学生コミュニティ CAMPHOR- さんとイベントを共催しました - MicroAd Developers Blog
                              • 開発スピードを止めない機械学習インフラ基盤――freeeに学ぶAI開発で本質的価値を提供する方法 | Ledge.ai

                                会計サービスをはじめ、バックオフィス向けクラウドソフトを提供するfreee。単純作業を効率化し、ユーザーが本質的な仕事に集中できる環境を提供するために、AI技術を駆使したさまざまな取り組みがなされている。 「ユーザーにとって本質的に価値があること(同社では「マジ価値」と呼ばれる)を届けきる」をコミットメントとして掲げる同社の、AI技術を使ったアプローチ方法を連載形式でお届けする。 第3回のテーマは、機械学習の開発環境。 機械学習やディープラーニングの自社開発を続けるうえで、その開発環境について考えるべき事項は多い。データ基盤の開発に始まり、分析やモデル開発、運用までスムースにこなせることに加えて、さまざまなアプリケーションやデータベースとの接続といった部分への配慮も欠かせない。 今回はfreeeの機械学習開発・研究を支えるインフラ基盤とその仕組みを同社AIラボの田中浩之氏に紹介いただく。

                                  開発スピードを止めない機械学習インフラ基盤――freeeに学ぶAI開発で本質的価値を提供する方法 | Ledge.ai
                                • CI/CD for Machine Learning in 2024: Best Practices & Tips | Qwak

                                  CI/CD for Machine Learning in 2024: Best Practices to Build, Train, and Deploy Explore best practices for CI/CD in Machine Learning in 2024. Learn to build, train, and deploy ML models efficiently with expert strategies. Building and deploying code to production environments is a fundamental aspect of software development. This process is equally pivotal in the realm of production-grade Machine Le

                                  • 自己流 Vertex AI Pipelines 開発プラクティス|Tatsuya Shirakawa

                                    こんにちは、カウシェで機械学習エンジニアをしている tatsuya (白川達也)です。最近まで取り組んでいたレコメンド機能の実装を通じて、Vertex AI Pipelines のカウシェにおけるプラクティスを自分なりに固めてみたので、公開してみたいと思います。 今回紹介するプラクティスのなかには実は Bad Practice なものもあるかもしれません。より良い方法をご存じの方は、直接教えていただいたり、Twitter などで共有・公開していただけるととても嬉しいです。この記事は半分それを期待して書いています。プラクティスはどんどん共有・公開して、大事な部分にフォーカスできるようにしましょう! なお、Vertex AI Pipelines は Kubeflow Pipelines を GCP 上で実行するサービスなので、本当は Vertex AI Pipelines と Kubeflow

                                      自己流 Vertex AI Pipelines 開発プラクティス|Tatsuya Shirakawa
                                    • kubeflow 触ってみた - Qiita

                                      この記事は TensorFlow Advent Calendar 2017の最終日の記事です。 何を書こうか迷っていたのですが、最近 kubeflow というものを知ったので、それについて書こうと思います。 機械学習システムの実運用 TensorFlowが公開されて2年ほど経ち、いろいろな事例が出てくるようになりました。昨年度は、いわゆるPOC(Proof of Concept)の事例が多かったように思いますが、徐々にビジネスで本格的に深層学習を使っているような事例も出てくるようになってきており、今後は深層学習のアルゴリズムそのものではなく、如何に実システムに組み込み運用するか、という観点も重要になってくるだろうと思います。 言い古された話ですが、機械学習を本番に導入して運用していくには、いろいろんはハードルがあります。このあたりは2014年にGoogleから出された論文「Machine

                                        kubeflow 触ってみた - Qiita
                                      • GitHub - nuclio/nuclio: High-Performance Serverless event and data processing platform

                                        Nuclio is a high-performance "serverless" framework focused on data, I/O, and compute intensive workloads. It is well integrated with popular data science tools, such as Jupyter and Kubeflow; supports a variety of data and streaming sources; and supports execution over CPUs and GPUs. The Nuclio project began in 2017 and is constantly and rapidly evolving; many start-ups and enterprises are now usi

                                          GitHub - nuclio/nuclio: High-Performance Serverless event and data processing platform
                                        • TensorFlowをKubernetesで分散学習するためのKubeFlowを動かしてみた話 - あさのひとりごと

                                          Kubernetesが機械学習基盤としてKubeflowをリリースしました。 ざっくりいうと、KubeFlowは以下の機械学習アプリケーション開発の一連のワークロードをサポートするOSSです。 モデル開発基盤 データサイエンティストや機械学習エンジニアがJupyterNotebookをつかってモデル開発するための、Jupyterが動くサーバ環境を提供 TensorFlow分散学習基盤 開発したモデルをTensorFlowで分散学習するためのKubernetesクラスタを自動生成 アプリ公開基盤 学習済みモデルをKubernetesクラスタ上でサービス公開する基盤を提供(Tensorflow Serving) github.com まだ、開発途中、かつざっとしか追えていませんが、導入のしかたと概要をまとめます。 0. kubeFlow環境構築 Kubeflowを動かすためには、まずKuber

                                          • ビッグデータ活用時のワークフローの大切さ ZOZO研究所のエンジニアが感じた次元が違う300万画像の処理

                                            ZOZO Technologies Meetup は、「ZOZOテクノロジーズの大規模データ活用に興味のある方」を対象としたイベントです。ZOZO研究所の渡辺氏からは大規模データを対象とした画像検索システムのワークフローについての事例を紹介しました。後半は画像検索のワークフローの流れについて。 画像検索のワークフローの流れ 渡辺慎二郎氏:というところの話になってきて、これがワークフロー、それを毎日のように準備するという仕組みになります。先ほど見せた図で言うと、この部分ですね。 このワークフロー、今回ではComposerというGKEのマネージドサービスを使っています。これの中身、具体的な仕組みは置いておいて、流れをご紹介します。 まずBigQueryから、本日今時点で有効になっている、使える、発売になっている商品情報をダーッと取ってきます。だいたいこれが300万画像ぐらい。その日によって違っ

                                              ビッグデータ活用時のワークフローの大切さ ZOZO研究所のエンジニアが感じた次元が違う300万画像の処理
                                            • 機械学習パイプラインの要件と Vertex Pipelines / Kubeflow Pipelines V2 による実装

                                              サンプルパイプライン : https://github.com/reproio/lab_sample_pipelines/tree/main/kfp 解説記事 : https://tech.repro.io/entry/2021/06/22/125113 ハンズオン資料 : https://gist.github.com/AseiSugiyama/d189a43f656a3313837e820bc54f873b

                                                機械学習パイプラインの要件と Vertex Pipelines / Kubeflow Pipelines V2 による実装
                                              • 第642回 仮想マシン上のmicrok8sからGPUを利用する | gihyo.jp

                                                第641回では「LXDとmicrok8sでシングルサーバーをKubernetesクラスターにする」と題して、より高機能になったmicrok8sについて紹介しました。microk8sで構築したKubernetesがあれば、気軽にたくさんのCPUコアを使ってさまざまなワークロードを動かし、部屋を暖められます。でも、待ってください。そのサーバーにはもっと便利な熱源がありませんか? そうGPUですね。本格的に寒くなる前に、Kubernetes環境からもGPUを使えるようにしましょう。 ホスト側でGPUパススルーの準備 第641回ではLXDの仮想マシンインスタンスの上にmicrok8sをインストールしました。つまりホストマシンのGPUを使うには、LXDの仮想マシンの中からGPUにアクセスできなくてはなりません[1]⁠。コンテナの場合、第532回の「LXDのコンテナからGPUを利用する」などで手順を紹

                                                  第642回 仮想マシン上のmicrok8sからGPUを利用する | gihyo.jp
                                                • Polyaxon + Kubeflow を利用した効率的な継続的モデルインテグレーション / Continuous ML Model Integration with Polyaxon and Kubefolow Pipelines

                                                  第9回 MLOps 勉強会 Tokyo (Online): https://mlops.connpass.com/event/215133/ でトークした際の資料です

                                                    Polyaxon + Kubeflow を利用した効率的な継続的モデルインテグレーション / Continuous ML Model Integration with Polyaxon and Kubefolow Pipelines
                                                  • 今学ぶべき技術 by deeeet

                                                    今学ぶべき技術 by deeeet 会津春の大LT大会 26 May 2018 Taichi Nakashima About me @deeeet / @tcnksm (GitHub) https://deeeet.com Tech lead at Mercari microservices platform team (We're hiring!) 2 今学ぶべき技術 3 今学ぶべき技術 英語 4 英語かよ!引っ込め👎 学ぶべき技術は何かを知るには「英語」が必要 技術を深く学ぶには「英語」が必要 5 英語で学ぶべき技術を知る 6 そもそも 何を学ぶべきかは自分で知る必要がある 学ぶべき技術は個人の趣向によって異なる 学ぶべき技術は所属する組織や環境によって異なる 学ぶべき技術は立場によって異なる 7 英語で日々の情報収集をする 多くの技術トレンドやプラクティスは英語圏から現れる 日本語

                                                    • Kubernetesをオンプレで作る 「kubeadm」のポイントとクラスタアップグレードのハマりどころ

                                                      Kubernetesユーザが集まり、情報交換、交流をするための勉強会「Kubernetes Meetup Tokyo」。#29は「Cluster Upgrade編」です。セッション「kubeadmでのクラスタアップグレード:その光と闇」では、実際にKubernetes環境をオンプレ環境上に構築している吉瀬淳一氏が、kubeadmを使ったKubernetesのインストール方法を共有しました。講演資料はこちら Kubernetesのアップグレードの光と闇 吉瀬淳一氏:kubeadmによるKubernetesのアップグレード、光と闇というタイトルで……。 前2つのセッションが、かなりプロダクションでのノウハウみたいな話だったんですけれど、私のセッションはkubeadmなので、普通のみなさんのご家庭にあるKubernetesで気軽に試していただけるような軽めの内容になっています。 私はこんな人です

                                                        Kubernetesをオンプレで作る 「kubeadm」のポイントとクラスタアップグレードのハマりどころ
                                                      • バンダイナムコグループの機械学習機能を実現するML基盤について | MLエンジニア tech blog

                                                        (※本記事のML基盤は下記に更改されました。よろしければ下記の技術記事をご覧ください) https://www.wantedly.com/companies/bandainamco-nexus/post_articles/891629 こんにちは! バンダイナムコネクサスのデータ戦略部で機械学習PJTのPMをしている高野です。 データ戦略部ではグループ内事業の意思決定に貢献するために様々な分析PJTを進めていますが、同時に機械学習機能開発も行っています。 そこで今回の記事では機械学習機能提供の要となるML基盤について紹介します。 ML基盤とは?下記図のように、ML基盤とはバンダイナムコグループ内の各サービスに対して機械学習機能を提供するシステムになります。 (機能提供対象としているサービス一覧はこちら) 機械学習モデル開発 / デプロイは機械学習エンジニアが担当し、基盤開発 / 安定稼働を

                                                          バンダイナムコグループの機械学習機能を実現するML基盤について | MLエンジニア tech blog
                                                        • Getting started with Kubeflow Pipelines | Google Cloud Blog

                                                          While model construction and training are essential steps to building useful machine learning-driven applications, they comprise only a small part of what you need to pay attention to when building machine learning (ML) workflows. To address that need, last week we announced AI Hub and Kubeflow Pipelines—tools designed with not only data scientists, but software and data engineers in mind—that hel

                                                            Getting started with Kubeflow Pipelines | Google Cloud Blog
                                                          • Kubeflow Central Dashboard

                                                            Kubeflow Central Dashboard

                                                            • GitHub - meirwah/awesome-workflow-engines: A curated list of awesome open source workflow engines

                                                              Activepieces - Open source no-code business automation, alternative to Zapier Airflow - Python-based platform for running directed acyclic graphs (DAGs) of tasks Argo Workflows - Open source container-native workflow engine for getting work done on Kubernetes Arvados - Open Source data and workflow management platform with emphasis on reproducibily, scale, and secure data sharing, deployable on cl

                                                                GitHub - meirwah/awesome-workflow-engines: A curated list of awesome open source workflow engines
                                                              • Introducing Feast: an open source feature store for machine learning | Google Cloud Blog

                                                                Introducing Feast: an open source feature store for machine learning To operate machine learning systems at scale, teams need to have access to a wealth of feature data to both train their models, as well as to serve them in production. GO-JEK and Google Cloud are pleased to announce the release of Feast, an open source feature store that allows teams to manage, store, and discover features for us

                                                                  Introducing Feast: an open source feature store for machine learning | Google Cloud Blog
                                                                • About

                                                                  Working on LLMs. Previously, I was a software engineer working on open-source Kubernetes at Google, building and maintaining Kubernetes developer tools such as minikube and skaffold. I also worked on machine learning pipelines as a maintainer of the Kubeflow project. Before Google, I worked at The Blackstone Group in NYC. I received a BA in Mathematics from Columbia University. I have an MBA from

                                                                  • Towards Natural Language Semantic Code Search | GitHub Engineering

                                                                    EngineeringTowards Natural Language Semantic Code Search Our machine learning scientists have been researching ways to enable the semantic search of code. This blog post complements a live demonstration on our recently announced site: experiments.github.com Motivation Searching code on GitHub is currently limited to keyword search. This assumes either the user knows the syntax, or can anticipate w

                                                                      Towards Natural Language Semantic Code Search | GitHub Engineering
                                                                    • Vertex AI Pipelinesを用いて爆速ML開発の仕組みを構築する #LayerXテックアドカレ - LayerX エンジニアブログ

                                                                      こんにちは。LayerXのバクラク事業部で機械学習エンジニアをしている@shimacosです。 最近、体重が増える一方で危機感を感じ始めたので、ダイエットを始めました。 ダイエットを始めて早3ヶ月ほどですが、一向に痩せません。何故でしょう? この記事はLayerXアドベントカレンダー11日目の記事です。 昨日は@upamuneが「Slack × Zapier × MiroでKPTでの振り返りをラクにする」という記事を書いてくれました。 明日は@itkqが、楽しい話を書いてくれる予定です。 はじめに バクラクの機械学習チームでは、AI-OCRという請求書や領収書などの帳票から、仕訳などの経理業務や電子帳簿保存法の要件を満たすための項目を抽出する機能を構築しています。 AI-OCR機能については、以下の資料などで詳しく述べられています。 バクラクでは、ありがたい事に導入社数が順調に伸びており、

                                                                        Vertex AI Pipelinesを用いて爆速ML開発の仕組みを構築する #LayerXテックアドカレ - LayerX エンジニアブログ
                                                                      • DevOps for ML Data: Putting ML Into Production at Scale | Tecton

                                                                        Getting machine learning (ML) into production is hard. In fact, it’s possibly an order of magnitude harder than getting traditional software deployed. As a result, most ML projects never see the light of production-day and many organizations simply give up on using ML to drive their products and customer experiences.1 From what we’ve seen, a fundamental blocker preventing many teams from building

                                                                          DevOps for ML Data: Putting ML Into Production at Scale | Tecton
                                                                        • 『ZOZOTOWN「おすすめアイテム」を支える推薦システム基盤』を支えるKubeflow実験基盤の構築と改善 - ZOZO TECH BLOG

                                                                          はじめに こんにちは。ZOZO研究所の shikajiro です。主にZOZO研究所のバックエンド全般を担当しています。 先日のテックブログ ZOZOTOWN「おすすめアイテム」を支える推薦システム基盤 をご覧いただけたでしょうか。ZOZO研究所と連携するMLOpsチームのTJこと田島が執筆した記事なので是非御覧ください。 techblog.zozo.com この 推薦システム基盤の推薦アルゴリズム を研究開発する際に利用した 実験基盤 の開発メンバーとして参加し、そこでAI PlatformやKubeflowを活用して効率的なML開発を試みました。今回はこの実験基盤の開発を紹介したいとおもいます。 また、推薦基盤チームのてらちゃんこと寺崎が執筆した AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 はKubef

                                                                            『ZOZOTOWN「おすすめアイテム」を支える推薦システム基盤』を支えるKubeflow実験基盤の構築と改善 - ZOZO TECH BLOG
                                                                          • ディープラーニング実践ガイド

                                                                            本書では、ディープラーニングの研究で受賞歴のある3人の著者が、アイデアを現実世界の人々が使用できるものに変換するプロセスをステップバイステップで丁寧に解説します。構築するのは、クラウド、モバイル、ブラウザ、エッジデバイス向けの実用的なディープラーニングアプリケーションです。一部の章ではその章で扱うトピックの専門家をゲスト執筆者に迎えてさまざまな手法を解説しているので、読者のニーズにマッチするアプリケーションがきっと見つかるでしょう。対象読者は、ディープラーニングの世界にこれから参入したいソフトウェアエンジニアやベテランのデータサイエンティストから、AIを搭載した独自のアプリを作りたいけれど何から始めればいいのかわからないホビーストまで。 賞賛の声 監訳者まえがき まえがき 1章 人工知能の概観 1.1 おわび 1.2 ここからが本当のイントロダクション 1.3 AIとは 1.3.1 きっか

                                                                              ディープラーニング実践ガイド
                                                                            • Kubernetesによる機械学習基盤への挑戦

                                                                              2018年12月4日 Japan Container Days 講演資料 谷脇大輔 Preferred Networksでは1000個以上のGPUとInfiniBandからなるオンプレミスのクラスターを自社で構築しており、研究者が様々な目的、リソース量、実行時間の機械学習ジョブをKubernetes上で実行して研究成果を出しています。 KubernetesはKubeflowの登場など、機械学習基盤としても非常に注目されている一方で、現実的には未だ発展途上です。 講演では機械学習基盤としてのKubernetesの導入理由、その実用性と将来性、Preferred Networksの挑戦についてお話ししました。Read less

                                                                                Kubernetesによる機械学習基盤への挑戦
                                                                              • クラウドネイティブ勉強法 (テックコミュニティ編) - Qiita

                                                                                はじめに 赤帽エンジニア Advent Calendar 2019 の12日目の投稿です。 気づけば赤帽かぶってます。(買収は関係ないです。転職です) ※会社とはまったく関係ない話をします。 ※諸事情で控えてたIPAをついに解禁したので,IPA(いまはBrewdog5本目)をがぶ飲みしながら書いてます。支離滅裂(?)になってたらすみませn ※12/12, 23:58に投稿してからも適宜更新 ポエム: 僕たち/私たち,Kubernetes 「赤の他人かもしれない皆で即興のジャズがやれるといいな」 (訳) 個々人(Controller)が,地道にインプット/アウトプットを共有し議論し正しい方向に向い続ける(Control Loop, Reconciliation Loop)ことによって,それぞれ独立しているはずなのに,結果的に協調動作(Ochestration)する。 そんな美しい世界ができる

                                                                                  クラウドネイティブ勉強法 (テックコミュニティ編) - Qiita
                                                                                • 機械学習エンジニアが意識している副業でも活かせる上流工程での経験値とは | Offers Magazine

                                                                                  「Offersエージェント」では、業界で活躍するプロフェッショナルがあなたの転職を徹底サポート。CxO経験者を含む現役エンジニア・デザイナー・プロダクトマネージャーが在籍し、職種に特化した専門的なアドバイスをご提供・非公開求人の紹介も可能です。 →【かんたん30秒】無料登録で転職相談する トップクラスのエンジニア組織にいながら副業をする理由 初めまして、荒瀬 (@KosukeArase) と申します。 株式会社メルカリにて、US Engineering チーム (US版メルカリの開発チーム) の機械学習エンジニアとして働いています。メルカリはエンジニアリング組織の開発に強く力を入れており、エンジニアにとっては非常に働きやすい環境となっております。また、技術レベルも高いため、自分が成長できる環境であるとも感じています。 インターン含め2年8ヶ月働いたメルカリJPを離れ、4月からメルカリUSの

                                                                                    機械学習エンジニアが意識している副業でも活かせる上流工程での経験値とは | Offers Magazine