NVIDIA Docker(NVIDIA Container Toolkit)からnvidia-container-runtime + containerdに移行するために知っておくべきこと - inductor's blog
はじめに これは Kubernetes Advent Calendar 14日目の記事です。 みなさん、おうちKubernetesしてますか？僕はしています。 おうちKubernetesの中でもいろいろ種類がありますが、今回はNVIDIAのGPU(家庭用なのでQuadroなどではなくGeForce)をクラスターに参加させるTipsを一つご紹介します。 NVIDIA Dockerについて NVIDIA DockerはNVIDIA社から提供されているコンテナ上でGPUを使うためのランタイムです。様々な歴史的経緯から、現在はNVIDIA Container Toolkitと呼ばれています。 現状、DockerでGPUを利用する場合はこちらを使うのが推奨されていて、これまで機械学習などの兼ね合いでNVIDIA GPUをKubernetesで使ってきたみなさんも、裏側ではこれが動いているのがほとんど
KubernetesでGPUを使う
KubernetesでGPUを使う 一般的なWebアプリケーションと比較してMachine Leaning（ML）は複雑なインフラを要求する．Data processingを行う環境やModelのTraining/Validationを行う環境，実際にサービスからModelを利用するためのServingの環境といった複数の異なる環境が必要であり，WorkloadによってはCPUだけではなくGPUも必要になる．これらを効率的に扱うためのインフラを構築・運用するのは容易でなくGoogle and Uber’s Best Practices for Deep Learningにあるようにこれまで培われてきたDevOpsの知見を結集していく必要がある． このような複雑なMLのインフラとしてContainerとKubernetesが利用されることが多くなってきている．特に複数の環境間のPortabi
EKS/Kubernetesで画像カテゴリ分類のGPU推論環境をProduction Readyにするまで - nariのエンジニアリング備忘録
こちらは Eureka Advent Calendar 2021の12/20の記事となります. English Version: medium.com はじめに こんにちは、エウレカSREチームのnari/wapperと申します👋 最近は、データライフサイクル・プライバシープロジェクト/データプラットフォームの移行/審査サービスのMLシステムのインフラなどを担当したりしています(Site Reliability Engineerなのかわからなくなってきた) その中で今回は、審査サービスにおける画像カテゴリ分類モデルを、EKSで本番環境にリリースした話を紹介したいと思います。 EKS Clusterの本番環境設定のポイントは、セキュリティ項目も含めてたくさんありますが、今回はGPU推論環境ならではのポイントにフォーカスしてみたいと思います。 対象読者 Kubernetesに関する基礎知識（
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
