AI事業本部におけるGPU活用の取り組みとKubernetes - CloudNative Days Spring 2021 Online / cndo2021-ca-ml-gpuaas-aiplatform
AI事業本部におけるGPU活用の取り組みとKubernetes at CloudNative Days Spring 2021 Online Speaker: 青山 真也・李 榮宰・高橋 大輔 Video: https://event.cloudnativedays.jp/cndo2021/talks/451 サイバーエージェント AI事業本部では、広告領域を始めとして、様々な領域での機械学習のワークロードが増えています。研究者・データサイエンティスト・プロダクト開発者など様々なメンバーが機械学習を利用するなか、利便性の高いGPU/ML環境の提供は欠かせません。 現在に至るまでAI事業本部におけるオンプレGPU環境は様々な変遷があり、現在は2020年にリリースされた NVIDIA A100を利用しNetApp TridentとKubernetesをあわせてGPU/ML環境の提供を開始してい
Kubernetesの負荷試験で絶対に担保したい13のチェックリスト - Qiita
概要 ※この記事は弊ブログ記事(はてな)、Kubernetesの負荷試験で絶対に担保したい13のチェックリストと同内容です ここ最近、Kubernetesクラスタを本番運用するにあたって負荷試験を行ってきました。 Kubernetesクラスタに乗せるアプリケーションの負荷試験は、通常の負荷試験でよく用いられる観点に加えて、クラスタ特有の観点も確認していく必要があります。 適切にクラスタやPodが設定されていない場合、意図しないダウンタイムが発生したり、想定する性能を出すことができません。 そこで私が設計した観点を、汎用的に様々なPJでも応用できるよう整理しました。 一定の負荷、スパイク的な負荷をかけつつ、主に下記の観点を重点的に記載します。 Podの性能 Podのスケーラビリティ クラスタのスケーラビリティ システムとしての可用性 本記事ではこれらの観点のチェックリスト的に使えるものとして
kubectl でのクラスタの切り替え設定 - Qiita
$ gcloud container clusters list NAME LOCATION MASTER_VERSION MASTER_IP MACHINE_TYPE NODE_VERSION NUM_NODES STATUS xxx asia-east1 1.13.7-gke.8 35.221.128.181 n1-standard-2 1.13.7-gke.8 5 RUNNING yyy us-central1 1.13.7-gke.8 35.238.182.245 custom-2-65536-ext 1.13.7-gke.8 1 RUNNING zzz us-central1-a 1.13.7-gke.8 35.225.158.168 n1-standard-1 1.13.7-gke.8 3 RUNNING
【ハンズオン】Docker+KubernetesでHelmを使ってみよう - Qiita
本記事ではKubernetesの周辺技術の一つとして使われているHelmを、実際に触って理解をしたい方向けにハンズオンを掲載しています。 やること DockerでKubernetes構築（kubernetes-dashboardのデプロイ） Helmでnginxのデプロイ 対象者 ・Kubernetes、Helmの概要を知りたい方 ・概要だけでなくKubernetes、Helmを実際に動かして理解したい方 ・Kubernetesはなんとなく分かってきたけど、Helmはまだ触ったことがない方 前提(バージョン) docker desktop 2.2.0.3 Kubernetes v1.15.5 kubectl
Kubernetes ベスト プラクティス 6 選 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 1 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。 数年前、Kubernetes はコンテナ化されたアプリケーションの管理をサポートし、大いに注目を集めました。今では、本番環境でのアプリケーションの大規模なデプロイや管理に広く使用されています。その過程で私たちは、Kubernetes と Google Kubernetes Engine（GKE）を最大限に活用するためのヒントやベスト プラクティスを収集してきました。ここでは、Kubernetes のデプロイと利用方法に関する Google Cloud ブログのなかから、最も人気の高い記事の一部をご紹介します。 リソース管理を容易にする Kubernetes の Namespace : Kubernetes 上でサービスを構築すると、単純なタスクが複雑になっていきます。一種
入門、Kubernetes Persistent Volume
Kubernetes Meetup Tokyo#25での発表資料です。
Helm 3.0.0 has been released!
Wed, Nov 13, 2019 The Helm Team is proud to announce the first stable release of Helm 3. Helm 3 is the latest major release of the CLI tool. Helm 3 builds upon the success of Helm 2, continuing to meet the needs of the evolving ecosystem. The internal implementation of Helm 3 has changed considerably from Helm 2. The most apparent change is the removal of Tiller, but it's worth checking out the ot
Kubernetes manifests management and operation in Mercari
https://k8sjp.connpass.com/event/124114/
Cloud Native時代における Docker / Kubernetes による開発 �Developers Summit 2019 at 02/14 / devsumi2019_amsy810_k8s
今日Dockerなどのコンテナ技術は広く普及し、GCP・Azure・AWSがマネージドサービスをリリースしたことなどからも、コンテナオーケストレーションエンジンとしてはKubernetesがデファクトスタンダードだと言えます。 本講演ではKubernetesが必要な理由・機能及びコンセプト・解決できる問題について、また分散システムとしてのKubernetesの仕組みについて紹介します。あわせて、コンテナを利用した開発をするにあたり切り離すことのできない「Cloud Native」や「マイクロサービス」の考え方、最近のKubernetesを取り巻く技術動向、将来性についても紹介します。 青山 真也 株式会社サイバーエージェント アドテク本部 Infrastructure Engineer Cloud Native Days Tokyo Co-chair／Japan Container Day
今日から始める人のための Kubernetes on AWS ベストプラクティス 2018版
The document discusses Yusuke Kuoka's recommendations and experience for deploying Kubernetes on AWS from development to production, including tools for bootstrapping Kubernetes clusters on AWS, running local development environments, automating the deployment process, and implementing logging and monitoring across environments using DaemonSets and Concourse CI for continuous integration. It also
Kubernetesがいかに自動化の考え方を変えたか? | SOTA
先日Japan Container Days v18.12の基調講演で話をさせていただく機会があった．内容としてはMercari のMicroservices Platformの基盤として「なぜ」Kubernetesを選択したか？ついて現状や今後の展望を踏まえて紹介をした． Microservices Platform on Kubernetes at Mercari 「なぜ」の回答としては，CRDやAdmission webhookといった拡張機構を使うことで今後起こりうる様々なWorkloadに特化したPaaSや抽象化レイヤーを書いていけるExtensibilityの高さとそのBuilding BlockとしてのEcosystemの強さを挙げた． このトークのExtensibilityの文脈で話したくて時間がなかったのが「Kubernetesがいかに我々の自動化に対する考え方を変えたか
MLストリームパイプライン・プラットフォーム - dely engineering blog
こんにちは、機械学習エンジニアの辻です。 先日、SageMakerの活用事例で登壇させて頂きました。 machinelearningnighttokyo20181.splashthat.com 機械学習で一番時間の掛かる作業といえば、やはり前処理ですよね。データレイクからデータを取得して、必要に応じて様々なデータストアからデータをかき集めて、加工して、また別のデータストアに入れてと。。。 大量のデータをあっちにやったりこっちにやったりして、もう一体最初は何がしたかったのかさっぱりわからなくなってしまうことがあります。 それに加えて、機械学習では、学習したモデルに対して推論しなければなりませんが、またこの推論結果が必ずしも決定的ではないという課題も含んでいます。 この、決定的ではないとはどういうことでしょうか？ 動作が予測可能なもの、つまり、入力したものに対して、常に同じ経路で計算を行い、同
Kubernetesの永続化ストレージ基礎 - Speaker Deck
Rancher meetup #15で発表したKubernetesの永続化ストレージの必要性と基礎について説明した資料となります。
Kubernetes上で動くマイクロサービスとして「毎時新聞」を作り直した - inajob's blog
これは何？ インターネットの世界が常に気になるけれども、ずっと見ているわけにはいけません。例えば私は仕事をしているときはTwitterをずっと眺めているわけには行きません。 そんな人に向けたサービスが「毎時新聞」です。 Twitterで盛り上がっている画像や、トレンドワードを1時間ごとに集約します。 寝る前に今日のページを見ると 大まかなインターネットの盛り上がり方を知ることができます。 実はこれ、以前も作ったことがあります。 inajob.hatenablog.jp 数年運用したのですが、最近Closeさせてしまいました。で、今回また作りました。 デモ こちらからアクセスすることができます。 page.inajob.tk こんな感じで、1時間ごとにTwitterで流行った画像を閲覧できるサービスです。 ちょうど10/20の8時で、シンカリオンの画像がはやっている様子がわかります。 もうひ
Docker Compose利用者から見た Kubernetes 開発環境構築入門 / introduction to kubernetes for docker compose user
Docker Compose利用者から見た Kubernetes 開発環境構築入門 / introduction to kubernetes for docker compose user
個人で運用するKubernetesクラスタ - k0kubun's blog
Kubernetesの使用感に興味があってaws-workshop-for-kubernetesというのを先週やり、ちょうどEKSがGAになった直後だったのでEKSが試せたのだけど、まあ最初からマネージドだとあまり面白みがないし金もかかるので、個人のVPSで動かしてた奴を全部Kubernetes上で動かすようにしてみている。 まだ本番で運用した知見みたいなのが貯まってるわけではないのだが、公式のドキュメントを中心に読んでいても単に動かし始める段階で結構ハマって時間を消費したので、これから同じようなことをやろうとしている人向けに備忘録を兼ねて使用感や知見をまとめておくことにした。 Kubernetesは今でもalphaやbetaの機能が多く、今後この記事の内容も古くなることが予想されるので、なるべく公式のドキュメントへのリンクを置くのを意識して書いてある。 構成 現時点で、ConoHaで借り
EKSにシュッと入門 〜GKEからの移行〜 - Speaker Deck
JAWS-UG コンテナ支部 #12 2018/6/21
20180609-gcpug-hiroshima-number-4?slide=54
GCPUG Hiroshima #4 https://gcpug-hiroshima.connpass.com/event/85416/ で発表した際の資料 「入門Kubernetes」には図が少なく動きがイメージしにくいという欠点を補うべく、Kubernetesのリソースなどの動きを図を使って説明してみました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）
Kubeflow Meetup #1に行ってきた