はじめに ML・データ部推薦基盤ブロックの佐藤（@rayuron）です。私たちはZOZOTOWNのパーソナライズを実現するために、機械学習モデルとシステムを開発・運用しています。本記事ではクーポン推薦のための機械学習モデルとシステム改善に取り組んだ話を紹介します。 はじめに 背景 課題 1. 古い基盤でシステムが運用されている 2. KPIに改善の余地がある 3. 機械学習モデルの評価体制がない 課題解決のために 1. Vertex AI Pipelinesへの移行 2. Two-Stage Recommenderの導入 プロジェクトへの導入 Candidate Generation 1. 過去の実績 2. 人気ブランド 3. 興味を持っているブランドの類似ブランド 評価方法 Reranking 学習データの作成 アンダーサンプリング 特徴量エンジニアリング 学習 バリデーション 推論 3
実践 AWSデータサイエンス
AWSではデータサイエンス分野で利用できるさまざまなサービスが提供されています。本書では、それらのサービスを有効に使って、データの収集、分析、モデルの訓練、テスト、デプロイまでの一連のプロセスを行う方法を紹介します。対象とする事例は、ヘルスケアデータ、時系列データ、自然言語処理、画像分類、不正検出、需要予測、レコメンデーションシステムなど非常に多岐にわたります。本書の目的は、Amazon SageMakerをはじめとしたAWSの機械学習サービスの詳細を説明するだけでなく、AWSのサービスを組み合わせることで、データサイエンスとアプリケーション開発の統合を図り、開発を効率化することであり、データサイエンティスト、データアナリスト、データエンジニア、MLエンジニアはもちろん、アプリケーション開発者や管理職にとっても役に立つ一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や
本記事はMLOps Advent Calendar 2020の13日目の記事です。 こんにちは。昨年本番環境のComposerでやらかしちゃった人です。今年は比較的平穏に機械学習を使用したサービス開発・運用に携われています。 携わっているサービスの1つで「MLOpsに必要な情報BigQueryに全部おいてみた」ところ想像以上に便利だったので、その方法について共有させてい頂ければと思います。 なお本記事でのMLOpsは 予測モデル/ハイパーパラメータのバージョン管理・デプロイ履歴管理 推論結果の精度監視 + 入力データの傾向監視 を指しています。 特に今年はコロナでビジネス環境が日々絶えず変化しているため、これらの施策がサービス品質担保に大きく貢献してくれました。 背景 毎日一回24時間先までバッチで未来予測し、結果をAPIサーバーにキャッシュする単純なMLサービスに携わっています。なお、予
Kubernetesネイティブなワークフローエンジンとは！FAANSでArgo Workflowsを導入した話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 バックエンド部 SREの笹沢（@sasamuku）です。 ZOZOではショップスタッフの販売サポートツール「FAANS」を2022年8月に正式リリースしました。FAANSはアパレルのショップスタッフ様を支援する様々な機能を提供しています。例えば、ZOZOTOWN上で実店舗の在庫取り置きができる機能や、コーディネート投稿の機能などがあります。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピングに連携が可能で、今後はブランド様のECサイトとも連携できる予定です。これによりお客様のコーディネート選びをサポートし購買体験をより充実したものにします。機能の詳細に関しましては下記プレスリリースをご覧ください。 corp.zozo.com 今回はFAANSで採用しているワークフローエンジン「Argo Workflows」につ
2018年11月8日に行われ盛況のうちに幕を閉じた「Red Hat Forum 2018 Tokyo」。そのセッションの一つとして開催されたのがパネルディスカッション「AI/マシンラーニング開発基盤を支える技術 ～Kubernetesが創るGPUコンテナの未来～」だ。エヌビディア（NVIDIA）、Preferred Networks（PFN）、日本ヒューレット・パッカード（HPE）、レッドハットという各分野のエキスパートが、AI、マシンラーニング（機械学習）、ディープラーニング（深層学習）において、コンテナがどのような効果をもたらすのか、現在の課題や今後の展望を語った。 登壇者は以下の通り。モデレーターは＠IT編集部 エグゼクティブエディターの三木泉（以下、三木）が務めた。今回はTwitterのハッシュタグ「#RHF_TECH」を使って会場からリアルタイムで質問も募った。 登壇者 大村伸吾
Docker漬けの一日を共に〜Docker Meetup Tokyo #23 レポート〜 #dockertokyo | DevelopersIO
皆さん、最近マルチクラウドという単語を耳にすることも増えたかと思いますが、どういったイメージをお持ちでしょうか。代表的なユースケースを上げてみようかと思います。 Content Distribution Compute Bursting Analytics Long-term Archival / cold storage そういたユースケースに対して、Zenkoでは、マルチクラウドデータコントローラーを提供しています。 Zenko CloudServer - Open Source S3 Server written in Node.js Single Interface to any Cloud 単一のS3 APIを利用して、数多のクラウドに接続 Allow reuse in the Cloud クラウドネィティブなフォーマットを維持 Always know your data and
CVE-2020-10749（Kubernetesの脆弱性）のPoCについての解説 - knqyf263's blog
少し前ですが、Kubernetesの方から以下の脆弱性が公開されました。 github.com タイトルにはCVE-2020-10749と書きましたが、複数のCNI実装が影響を受ける脆弱性でCVE-2020-10749はcontainernetworking/pluginsにアサインされたものです。他にもCalicoはCVE-2020-13597、DockerはCVE-2020-13401、などとそれぞれCVE-IDがアサインされています。 このIssueの説明を読んで、はいはいあれね完全に理解した、と思って一旦閉じました。ですが、頭で分かった気になって手を動かさないのは一番やってはいけないことと念じ続けてきたのに、しれっと同じことをやりそうになっていた事に気づきました。なので数日経ってからちゃんとPoCを書いてみました。多少知識が増えてくるとついうっかりやってしまいがちなので気をつけなけ
Kubernetesのエコシステムをまとめる（2018年5月時点） 日本のGW中（2018年）にデンマークではKubeConを開催しているようでして、現地で参加している方々は羨ましい限りです。 KubeConの情報が日本に届くのはGW明けだと思いますが、その前に昨今のKubernetesのエコシステムとかいろいろなことをまとめます。 <追記2018/05/13> KubeCon 2018 EUで公表された情報も追加しました。 <追記2018/06/08> チュートリアル、トレーニングを追加しました。 <追記2018/06/11> プレイグラウンドを追加しました。 <追記2018/06/19> MS Azure AKSがGAしました。 Kubernetesとは？ Kubernetesはコンテナのオープンソースのオーケストレーションツールです。Dockerを使ってアプリケーションをデプロイ、運
はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦アルゴリズムの改善を中心に機械学習を活用してアプリのサービス改善を日々行っています。過去にはチームが独立しており開発者も少数であったことから各チームがJupyter Notebook等でオフライン実験を行い、良い結果のものは本番環境に適用するためプロダクションコードを書き、レビューを行い、本番環境でA/Bテストするという流れでした。最近は開発者の人数も増え横断的にアプリのサービスを改善しているので、より効率的なMLOps基盤が求められています。 はじめに MLOpsとは 実現
K8Sで機械学習の予想システムを作成 目次 - 機械学習の最小粒度としてのDocker, Dockerのデプロイ先としてのk8s - テキストを評価するAPIのDockerコンテナの作り方 - DockerコンテナのGoogle Cloud Container Registryへの登録 - K8Sへのデプロイ - 実際にアクセスする - まとめ 機械学習の最小粒度としてのDocker, Dockerのデプロイ先としてのk8s コンテナのオーケストレーションツールがk8sが他のツールを押しのけて、優位にたった状況からしばらく経過し、ドキュメントやユースケースが揃ってきました。 GCPではコンテナを使ったデプロイメントサービスはKubernetes Engineがデフォルトであり、WebUIやCUIでの操作例を示したドキュメントも充実してきました。 k8sは、ローリングリリースが簡単にできたり
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）NTT DATA Technology & Innovation
こんにちは。メルカリの画像検索チームでTech Leadをしています葛岡です。 今回は、メルカリのMLシステムの中で一、二を争う複雑なシステムである画像検索の基盤を再設計し、経済的にも技術的にもみんなが幸せになったお話をしたいと思います。 画像検索ってなぁに？ その名の通り、画像をベースに視覚的に似ている商品を検索する機能です。この機能は２年ほど前にリリースされていて、すでにiOSバージョンのメルカリではご利用いただけます。 当時のシステムはブログ記事になっているので、ご確認ください。 再設計？なにそれ？おいしいの？ さてこの機能を支えるシステムですが、当時開発されて以来、大きな再設計などは特になく、つい最近まで運用されていて、画像検索やその他のメルカリサービスでも内部的に呼ばれていて、プラットフォーム的な立ち位置を担っていました。 画像検索は定期的に新しい画像インデックスを構築するのです
コンテナオーケストレーションツールとして標準的になってきたKubernetes。これから使ってみたい方に向けた解説書として『しくみがわかるKubernetes』（翔泳社）が発売中です。今回、本書からコンテナーやKubernetesの概要やユースケースについて紹介します。 本記事は『しくみがわかるKubernetes Azureで動かしながら学ぶコンセプトと実践知識』からの抜粋です。掲載にあたり、一部を編集しています。 CHAPTER 01 コンテナーとKubernetes 昨今、ビジネスそのものをITによって変革させるデジタルトランスフォーメーションへの期待が高まりつつあります。その背景で、開発したアプリケーションをなるべく小さな単位で、かつ短いサイクルでデプロイしたいという開発者のニーズは、日に日に大きくなっています。しかしながら少人数の管理者で、大規模な分散環境を安定して運用管理するに
Kubeflow Pipelines の GCP マネージド版である AI Platform Pipelines を使って、機械学習パイプラインを動かした話です。どんなメリットがあるのか、どのような全体像になっているのかをまとめました。
ABEJA Insight for Retailの技術スタックを公開します (2021年10月版） - ABEJA Tech Blog
初めに 会社・事業紹介 ABEJA Insight for Retailについて 技術スタック 全体アーキテクチャ図 ① 映像録画・解析システム ②データ基盤部分 ③ Webダッシュボード その他 (全体共通部分) 一緒に働く仲間を募集中！ 最後に 初めに こんにちわ。大田黒（おおたぐろ）です。暑い日が落ち着いてきて、秋(冬？）が来たなぁと感じるこの頃です。皆様いかがおすごしでしょうか。前回の「ABEJAの技術スタックを公開します (2019年11月版)」が公開されてからしばらく経ちました。 引き続きエンジニアの方とお話させていただく中で、 「ABEJAってよく聞くけど...実際どんなことやってるのかよくわからない」 「AIのお硬いSIerって感じなんでしょ？」 「社内は機械学習エンジニアばっかりなんでしょ...??」 といったご質問をいただくことが多いです。 今回の記事では､最新の会社や
GoogleがAI HubとKubeflow Pipelinesを発表、機械学習専門家の知見を再利用：ソフトウェアエンジニアが大きな役割果たせる - ＠IT
GoogleがAI HubとKubeflow Pipelinesを発表、機械学習専門家の知見を再利用：ソフトウェアエンジニアが大きな役割果たせる Googleは2018年11月8日（米国時間）、機械学習のパイプラインを容易に構築できるツール「Kubeflow Pipelines」と、機械学習のためのツールやデータのカタログとも呼べる「AI Hub」を発表した。 Googleは2018年11月8日（米国時間）、機械学習のパイプラインを容易に構築できるツール「Kubeflow Pipelines」と、機械学習のためのツールやデータのカタログとも呼べる「AI Hub」を発表した。Kubeflow PipelinesはGitHubで公開されている。また、AI Hubは限定ユーザーとαテスト中。 この2つのツールの目的について、Google CloudでML Platformエンジニアリング ディレ
こんにちは、機械学習エンジニアの @hurutoriyaです。 2018/05/23 にMercari ML Ops Night Vol.1というイベントを開催しました。 Mercari ML Ops Night Vol.1 – connpass 機械学習アルゴリズムそのものではなく、 システム構成や、モデルのデプロイ、データの収集など、 機械学習をプロダクションで運用するにあたって直面する課題やその解決方法などを、 ざっくばらんにお話できればと思います。 当イベントページは公開1時間で100人の定員枠が埋まり、最終的に申込者が296人!! に到達し、プロダクション環境での機械学習の運用に対する注目の高まりを感じ取ることができました。 プロダクション運用への壁 最近では国内でもMLSEやML Ops Studyなど機械学習のモデリング以外の部分に注目したイベントが開催されています。 ML
Vertex AIとBigQueryでつくる、簡単ベクトル検索&テキスト分析システム | DevelopersIO
Vertex AIパイプラインを使うことで、BigQueryおよびBigQueryから参照できるデータを対象にしつつも、Google Cloud Pipeline ComponentsやVertex AIメタデータなどVertex AIの機能の恩恵もできるだけ受けることができます。 データアナリティクス事業本部 機械学習チームの鈴木です。 BigQueryでは、Vertex AIと連携して格納したデータを生成AIで処理することが可能です。 例えばテーブルに格納済みのテキストをもとに埋め込みベクトルや別のテキストを生成することができます。 特に埋め込みベクトルがあれば興味があるテキストに類似したテキストをBigQuery内で検索し、類似レコードの特徴から関心のあるテキストを分析することもできます。また、RAGに使用することもできます。 今回はBigQueryとVertex AIを使って、テー
機械学習ツールキット「Kubeflow 1.0」をGoogleが公開、「Anthos」と組み合わせると何ができるのか
Googleは2020年3月3日（米国時間）、オープンソースのKubernetes対応機械学習（ML）ツールキットの正式版「Kubeflow 1.0」を公開した。同時に、企業がKubeflowをGoogle Cloudの「Anthos」プラットフォーム上で利用するメリットを紹介した。Kubeflowは、Googleが2017年12月に立ち上げたオープンソースプロジェクト。 MLライフサイクル全体にわたって、企業がオープンソースのデータサイエンスやクラウドネイティブエコシステムを利用して、ソフトウェア開発とMLのインフラを共通化したり、標準化したりする際に、Kubeflowが役立つという。 Kubeflowは、スケーラブルでポータブルなMLワークロードの開発に加えて、オーケストレーションやデプロイ、実行のためのKubernetesネイティブプラットフォームを提供すると、Googleは説明して
Vertex AIを活用したMLOps基盤の作成 | CyberAgent Developers Blog
みなさんどうもこんにちは、AI事業本部の「極予測TD」というプロダクトで2023年2月から2ヶ月間、機械学習エンジニアとしてインターンシップ「CA Tech JOB」に参加させていただいた、高橋駿一と申します。本記事では、インターンシップで行った、MLOps基盤の開発についてご紹介します。 極予測TDとは 極予測TDとは、レスポンシブ検索広告（RSA）を自動生成する「広告テキスト自動生成AI」と、広告配信効果を事前に予測する「効果予測AI」を掛け合わせることで、効果的なRSAを制作するプロダクトです。 本インターンシップでは、効果予測AIのMLOpsに取り組みました。 背景 チームに参加した際、以下のような状況にありました。 複数の予測モデルが運用されているうち、一部、MLパイプラインが未実装のものがあった 上記モデルはリリース当初からモデルが更新されていなかったが、時間が経過したことでデ
KARTEにおけるフロントエンドと連携させたKubeflow Pipelineの活用方法について解説します
KubeflowとJupyter Enterprise GatewayでJupyter Notebook環境をさらに便利に | CyberAgent Developers Blog
KubeflowとJupyter Enterprise GatewayでJupyter Notebook環境をさらに便利に AI事業本部のインフラ組織SIAでエンジニアをしている牧垣です。 はじめに Jupyter Notebookは機械学習・データ解析の分野ではすっかり空気のようなインフラになりました。仮説・実験・考察のサイクルを回しやすいので、科学分野では昔から人気があります。コードと結果が可視化できるという基本機能そのものに、作業ログや手順書・使い方ドキュメントなど、他分野での需要もあります。 夢を膨らませると用途はまだまだ思いつきそうですが、つまり「複数人で同じものを見て、同じ認識をすることができる」というのがJupyter Notebookの良いところです。「あの件、どうだった？」「あ、たぶん大丈夫だと思います」といったあやしげな状態になりにくくなります。また、可視化が容易な点も
データサイエンティストたちのモデルの活用度を高めるGoogle CloudのKubeflowパイプラインとAI Hub | TechCrunch Japan
Tempus, a genomic testing and data analysis company started by Eric Lefkosky, who previously founded Groupon, debuted on Nasdaq on Friday, rose about 15% on the opening. The company priced… The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoff
機械学習開発の標準戦略MLOps
こんにちは、GMOアドマーケティングのS.Rです。 機械学習の開発を円滑に進めるためにMLOps の取り組みは重要です。今日はよく使われているMLOps のFramework であるKubeflow とKubeflow に基づいたCloud Service AI Platform を皆さんへ紹介させていただきます。 ※なお、この記事中の図示は、特に断りが無い限り筆者が作成したものです。 MLOpsとは MLOPSは分析（ML）＋開発（Dev）＋リリース（Operations）の組み合わせです。 機械学習の開発効率を向上させる為に、機械学習project の開発原則とルールが纏められています。 MLOpsのレベル MLOps の自動化はその程度により3 つのレベルがあります。 詳細については【Google Cloud「MLOps: 機械学習における継続的デリバリーと自動化のパイプライン」（リ
Googleは7月10日、オープンソースプロジェクトのドキュメント公開に向けたWebサイトテーマ「Docsy」を公開した。ドキュメントを公開するサイトを簡単に立ち上げて運用できるという。 Docsyは技術文書を公開するようなWebサイトのためのテーマで、Webサイト構築のためのフレームワーク「Hugo」をベースとする。Googleは2000以上のオープンソースプロジェクトを抱えており、ドキュメンテーション作成と公開のためのツールが必要だったことから構築したとのこと。技術文書向けのテンプレートとガイドを備えており、すでにKubeflow、Knative、Agonesなどのプロジェクトで利用しているという。 ナビゲーション、サイト構造などの機能を提供するほか、多言語にも対応する。ページの追加、ドキュメンテーションの構造化、コミュニティからの貢献などについてもガイドを提供するという。 Docsy
人工知能（AI）のユースケースはまだごく初期段階にあるといえる。企業はAIによってビジネスモデルを強化するユースケースを依然模索中だ。Gartnerの試算によると、AIの展開は2022年までに約4兆ドル（約444兆5000億円）に達する見込みがあるという。その成長の鍵がディープラーニングだ。 企業におけるディープラーニングはイメージしやすい。だが、複雑でリスクが高く、時間がかかる課題であることは変わらない。ディープラーニングソリューションの連携、検証、最適化が難しいためだ。 こうした課題に応える試みの一つが、「Kubernetes」を使用する分散型ディープラーニング向けの新しいオープンソースプラットフォーム「Nauta」だ。 Nautaとは Nautaは「Xeonスケーラブル・プロセッサー」ベースのシステムでディープラーニングモデルのトレーニング実験を行うための、マルチユーザー分散コンピュ
おなかいっぱいすぎる・・・DockerCon SF 18に行ってきた - Mitsuyuki.Shiiba
ということでDockerCon本編のログ。 前日までのお話はここ。 bufferings.hatenablog.com 最初に感想 あくまでも僕の感想だけど、こんな風に感じた： Dockerを取り巻くエコシステムの活気がすごい でも、その中心はDockerからKubernetesに移ってるように感じた そんな中で、Microsoftが存在感を出していて強いなぁって思った そして、また2,3年でKubernetesの次がやってるくるんだろうなって想像した Dockerを取り巻くエコシステムの活気がすごい 前回の記事でも触れたけど、Dockerを取り巻くエコシステムとして、モニタリング、プラットフォーム、セキュリティ、MLそれとIoTなどに取り組んでいる会社がほんとに沢山あって活気がすごい。 でも、その中心はDockerからKubernetesに移ってるように感じた 何年か前まではDocker
Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。後半は実際の機械学習の方法について。関連資料1、関連資料2 リソースとコストの最適化、そして、機械学習ジョブの実行方法 服部圭悟氏（以下、服部）：では続いて、「リソースとコストをどう最適化するか？」と「機械学習ジョブをどう実行するか？」を同時に説明したいと思います。 やりたいこととしては、可能なかぎりコストを抑えて、でも安定した計算機クラスタを作りたい。安かろう悪かろうじゃダメってことですね。 それからスケーリ
第560回の「microk8sでお手軽Kubernetes環境構築」では、「シングルノードのみに対応したKubernetes環境構築ツール」としてmicrok8sを紹介しました。その後、このmicrok8sは大幅な進化を遂げて「特定のプロダクション用途でも使える」までになっています。今回はそのmicrok8sに最近追加された、高可用性クラスター機能について紹介しましょう。 密に開発されクラスターにも対応したmicrok8s 第560回の記事が公開されたのはmicrok8sのv1.13がリリースされ、Canonicalとしてもmicrok8sの利用をアピールしだした時期でした。当時はシングルノードにしか対応していないことに加えて、ARM64のサポートを拡充していったことからもわかるように、開発者によるKubernetesの学習用や組み込み用のシンプルなアプリケーションの実行用を主なユースケ
たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込めるようにする スケーラビリティの確保 DataRobotについて スコアリングコード機能 実装上のポイント 工夫点 はまったポイント 所感 あとがき TL;DR 機械学習基盤をKubernates上で構成することで、機械学習にかかわる一連の処理の再現性を担保できるようになった。 AutoML製品（DataRobot)の機能をKubernates（以下k8s)上で実行させることで、バッチ予測を並行実行し、大幅に高速化することができた。 データサイエンティストが自分自身で容易に機械学習パイプラインの定義・デプロイができるようになった。 自己
メルカリで写真検索とEdge AIチームに所属している澁井（しぶい）です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください！ PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください！ GitHub：https://github.com/mercari/ml-system-design-pattern GitHub Pages：https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた
ゼロから始める Kubeflow での 機械学習パイプライン構築
人工知能（AI）技術は今後、企業のビジネスにどのような影響を与えるのだろうか。カーネギーメロン大学のコンピューターサイエンス学部長からグーグルのクラウドAI事業責任者に転じたアンドリュー・ムーアに話を聞いた。 by Will Knight2018.11.13 37 45 27 2 アンドリュー・ムーアは、グーグルのクラウド人工知能（AI）事業の新しい責任者だ（日本版注：ムーア氏はこの9月まで米カーネギーメロン大学コンピューター・サイエンス学部長を務めていた）。グーグルのクラウドAI部門は、機械学習のツールや手法を、通常のビジネスでさらに使いやすく、有用なものにすべく奮闘している。 そのような目標に向け、ムーアのチームは11月8日、異なる機械学習コンポーネントをつなぐモジュラー・フレームワークの「AIハブ」や、機械学習プロジェクトの移植性を向上させるソフトウェア「キューブフロー・パイプライン
Kubernetes as a platform vs. Kubernetes as an API | Amazon Web Services
Amazon Web Services ブログ Kubernetes as a platform vs. Kubernetes as an API はじめに Kubernetes とは何ですか？私はこの技術に初期から取り組んできましたが、8 年経っても、この問いにハッキリと答えられません。Kubernetes をコンテナオーケストレーターとして定義する人もいますが、その定義は果たして、Kubernetes を正しく表現できていると言えるでしょうか。私はそう思いません。この記事では、Kubernetes について、従来の考え方にとらわれない考え方や、技術の伸びしろを探ってみたいと思います。 Amazon Elastic Kubernetes Service (Amazon EKS) は、お客さまに代わって、Kubernetes クラスターを運用をする AWS のマネージドサービスであり、非常
AI事業本部におけるGPU活用の取り組みとKubernetes - CloudNative Days Spring 2021 Online / cndo2021-ca-ml-gpuaas-aiplatform
AI事業本部におけるGPU活用の取り組みとKubernetes at CloudNative Days Spring 2021 Online Speaker: 青山 真也・李 榮宰・高橋 大輔 Video: https://event.cloudnativedays.jp/cndo2021/talks/451 サイバーエージェント AI事業本部では、広告領域を始めとして、様々な領域での機械学習のワークロードが増えています。研究者・データサイエンティスト・プロダクト開発者など様々なメンバーが機械学習を利用するなか、利便性の高いGPU/ML環境の提供は欠かせません。 現在に至るまでAI事業本部におけるオンプレGPU環境は様々な変遷があり、現在は2020年にリリースされた NVIDIA A100を利用しNetApp TridentとKubernetesをあわせてGPU/ML環境の提供を開始してい
2018/09/01 に発表した資料です。 GDG DevFest 18 Tokyo Machine Learning Session site: https://tokyo2018.gdgjapan.org/ml 発表資料 Google Slide: https://docs.google.com/presentation/d/e/2PACX-1vQoGOjPBxkcPLnpRvI39OXbILRAu_Amea_Z9wvhs7pIH6bH5_KQFa4HIwYKGYU8w-x1C-0eiV-k9GCL/pub?start=false&loop=false&delayms=3000Read less
Kubernetes development is not one-size-fits-all. Maybe you’re learning Kubernetes with Minikube on your local machine; maybe you’re part of a large organization with many clusters; maybe your cluster is an on-prem lab, or lives in the cloud. But whether you’re a cluster operator managing policies, an app developer test-driving a new service, or a data scientist running Kubeflow, chances are you ar
※この投稿は、米国時間 2018 年 7 月 27 日に、The Keyword に投稿されたものの抄訳です。 Google Cloud Next '18 は、GO-JEK CTO の Ajey Gore 氏がスクーターでステージに登場し、Target CIO の Mike McNamara 氏による講演など、素晴らしい基調講演やセッションに彩られた、感銘深く、同時に学びが多い 1 週間になりました。今回、Google Cloud コミュニティから 23,000 人を超えるビジネスリーダー、デベロッパー、パートナーが参加し、290 名を超えるお客様の講演に耳を傾け、クラウドビジネス変革について意見を交換し、数百あるブレイクアウトセッションに参加しました。すべての人が利用できるクラウド構築実現を目指し、”Made Here Together” をテーマにした本イベントに、本当に多くの皆さまに
yatsu.info : w3mでOffice文書を読む
Kubeflow Central Dashboard
Professional Machine Learning Engineer試験対策マニュアル - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学習の一般的な知識 代表的な機械学習アルゴリズム 評価指標 回帰問題における評価指標 分類問題における評価指標 ヒューリスティック 機械学習モデルの開発、運用における課題の解決 データの前処理 欠損値の処理 カテゴリカル変数の扱い 不均衡データの対策 過学習の対策 正則化 早期停止 トレーニングの改善 ハイパーパラメータの調整 トレーニング時間の改善 交差検証 モデルのモニタリングと改善 スキューとドリフト モデルの軽量化手法 Google Cloud
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クーポン推薦モデルとシステム改善の取り組み - ZOZO TECH BLOG
MLOpsに必要な情報全部BigQueryに置いたら想像以上に捗った話 - Qiita
AI／機械学習にコンテナは必要か？――4人のスペシャリストが語るGPUコンテナの未来
Kubernetesのエコシステムをまとめる - Qiita
MLOps 海外テック企業の事例とフレームワークの紹介 - Gunosyデータ分析ブログ
K8Sで機械学習の予想システムを作成 - にほんごのれんしゅう
GOの機械学習システムを支えるMLOps事例紹介
画像検索システム再設計のお話 | メルカリエンジニアリング
コンテナーとは？ Kubernetesとは？ 導入や運用、ユースケースを解説
AI Platform Pipelines を使って機械学習パイプラインを動かす話
Mercari ML Ops Night Vol.1 を開催しました
KARTEにおけるKubeflow Pipelineの活用 | PLAID engineer blog
Google、技術文書を公開するようなWebに向けたテンプレート集「Docsy」を公開 | OSDN Magazine
Kubernetesベースのディープラーニング環境「Nauta」
分散学習にはHorovodを使う 文献から学ぶクラウド機械学習のベストプラクティス
第641回 LXDとmicrok8sでシングルサーバーをKubernetesクラスターにする | gihyo.jp
機械学習システムの設計パターンを公開します。 | メルカリエンジニアリング
ゼロから始める Kubeflow での機械学習パイプライン構築
グーグルクラウドAI部門トップが語る、AI導入の「誤解」と「正解」
Kubeflowで何ができて何ができないのか #DEvFest18
A Kubernetes Development Workflow for MacOS 💻
Google Cloud Next '18 で行った 105 の発表 | Google Cloud 公式ブログ