We’ve scaled Kubernetes clusters to 7,500 nodes, producing a scalable infrastructure for large models like GPT-3, CLIP, and DALL·E, but also for rapid small-scale iterative research such as Scaling Laws for Neural Language Models. Scaling a single Kubernetes cluster to this size is rarely done and requires some special care, but the upside is a simple infrastructure that allows our machine learnin

こんにちは、インフラ部の id:sue445 です。 今回はRendertronをGKEとCloud Runの両方で構築した話をしたいと思います。 tl;dr; 前置き 今までのRendertronの問題点 GKE版Rendertronについて GKEの採用理由について GKE版Rendertronの構成 全体 GKE内部 pod内部 Kubernetesの設定と解説 rendertron-deployment.yaml rendertron-hpa.yaml rendertron-ingress.yaml rendertron-service.yaml Tips nodeのストレージサイズをケチり過ぎたらpodが起動できなくなった N1マシンタイプのnodeとN2マシンタイプのnodeを比較した結果、N2マシンタイプが安くなった Cloud Run版Rendertronについて Clou

Microservices Platform Teamの@deeeeeeetと@dragon3です． Microservices Platform TeamではGoogle Kubernetes Engine（GKE）をメインのコンポーネントとして利用し，その上にメルカリとメルペイのMicroservicesを動かすための基盤を構築しています．メルカリのMicroservices化のプロジェクト自体は2年ほど前から始めており，GKEも当時に構築したものを今日まで運用し続けてきました． この2年間でGKEからは多くの機能がリリースされました．その中のほとんどはそのまま有効にすることができますが，中にはClusterを作り直す必要があるものもあります．例えばRoutes-based ClusterをVPC-native Clusterに，Zonal ClusterをRegional Clust

Find out how to optimize your development team. Learn about namespaces in Kubernetes, RBAC, Kubernetes resource limits, and more with Weave.Works. After you’ve made the decision to run your application on Kubernetes, what are the next steps? Maybe you’re wondering how to organize your team to do development on Kubernetes? This of course is quite a large topic and involves many opinions and differe

Editor’s note: Today is the fourth installment in a seven-part video and blog series from Google Developer Advocate Sandeep Dinesh on how to get the most out of your Kubernetes environment. When Kubernetes schedules a Pod, it’s important that the containers have enough resources to actually run. If you schedule a large application on a node with limited resources, it is possible for the node to ru

Building Software Reliability through Distributed Tracing.pdf

Blue-Green デプロイメントを採用したデプロイの仕組みを実装して共通基盤として導入した話 / SRE NEXT 2020

Further Reading GitOps FAQs Learn more CI/CD for Kubernetes Learn more Kubernetes Containers Explained Learn more FROM THE BLOG ​GitOps - Operations by Pull Request Read blog 6 Ideas Shaping GitOps Today Read blog Continuous Deployment vs. Continuous Delivery - Which is Better? Read blog GitOps is a Git-centric framework for application deployment that greatly simplifies software development in cl

本記事は 2020/01/08 に開催された Envoy Meetup Tokyo #1の LT スライド兼補足資料です。 原則として、スライドモードでファーストビューに入るものはスライドとして、下にスクロールして表示される部分は補足資料です。 Progressive Delivery とは Continuous Delivery ++ 実装はたいてい Canary Release + Canary Analysis + Automated Rollback "Progressive Delivery is the next step after Continuos Delivery, where new versions are deployed to subset of users and are evaluated in terms of correctness and perfor

はじめに これは、ZOZOテクノロジーズ #4 Advent Calendar 2019 13日目のエントリーです。 前回の前編記事に引き続き、Airbnbのエンジニアたちが経験したクラスターでのやらかしをあれこれご紹介します。 6. Where's my Custom Resource?（ワイのカスタムリソースはどこに？） AirbnbではKubernetesのCustom Resourceをよく使用しています。 特に、Kubernetesクラスターの外部にあるが、ストレージ、ダッシュボード、アラート、IAMロールなどのAWSリソースなどのサービスに関連付けられているリソースを追跡するために使っています。 こうしたCustom Resourceを使う上で大変なのが、「そのリソースがいつ利用可能になったか」や、「そのリソースに関する変更がいつ反映されたか」を検知することです。 最初のうちは

この記事は？ この記事は、リクルートライフスタイル Advent Calendar 2019 の16日目の記事です！ 自分が所属している CETチーム で、Kubernetes を中心としたアーキテクチャにおける Monitoring as Code を実現した監視基盤の紹介をしたいと思います。 自分の所属するチームでは、バッチ基盤や API 基盤を GKE 上に構築しています。 この記事では、Terraform・Grafana・Prometheus・Jsonnet を利用して、Kubernetes のリソース監視・Job の実行状態・API レイテンシのモニタリング・外形監視などを改善したアーキテクチャやフローを紹介したいと思います。 Who am I ? @ko-da-k (Twitter: @ko_da_k) です。新卒2年目で、1年目は主にデータ解析やモデリング等を行っており、現在

Kubernetes などの YAML を独自のルールをもとにテストする February 19, 2019 設定ファイルのメンテナンスの必要性 Infrastructure as Code の普及もありインフラの状態やその他多くの設定が、設定ファイル言語 (YAML や HCL など) で記述されることが多くなった。 Terraform HCL や Kubernetes YAML など、人が継続的にメンテナンスしなければならなく、その設定が直接プロダクションに影響を与える場合、そのレビューがとても重要になる。 具体的に例えば、「デプロイする Replica の数」や「Resource limit や PodDisruptionBudget が適切か」などレビューの中で注意深く見なけれなならない点などがあげられる。 加えて日々のレビューの中で、問題にはならないが「Kubernetes の

はじめに これは、ZOZOテクノロジーズ #4 Advent Calendar 2019 12日目のエントリーです。 今回はKubeConに参加して面白かったセッションの1つである「10 weird ways to blow up your Kubernetes(Kubernetesをぶち壊す10の奇妙な方法)」をご紹介します。 この他にも、「Airbnbの事例に学ぶKubernetesとマイクロサービスのあり方 @ KubeCon Seattle 2018」という記事も執筆しているので、合わせてご覧ください。 また、このセッションのスピーカーであるMelanie Cebulaは、CloudNative Days Tokyo 2019のキーノートスピーカーとしても来日し、登壇しています。 後編書きました！ セッションの背景 セッションスピーカーであるMelanieとBruceは、Airbn

Developers Boost 2019で発表した「CloudNativeな監視とは？今日から始める監視」のスライドです。 Cloud Nativeな監視を始めるための、主要なキーワード「Observability」や「Telemetry」について触れました。 CloudNativeな監視とは？ 今日から始める監視 - Developers Boost 2019 https://event.shoeisha.jp/devboost/20191130/session/2239/

[CNDK2019]Production Ready Kubernetesに必要な15のこと / Production Ready Kubernetes 15 Rules

我々は Kubernetes の何を監視すればいいのか？ / CloudNative Days Kansai 2019

こんにちは。Necoの池添(@zoetro)です。 現在San Diegoで開催されているKubeCon 2019に参加しているのですが、時差ボケで寝付けないのでこんなブログを書いています。 さて、現在我々はKubernetes上のアプリケーションの継続的デリバリーを実現するためにArgo CDというツールを利用しています。 github.com 本記事ではArgo CDについて簡単に解説した後、継続的デリバリーのベストプラクティスと具体的な実践例を紹介したいと思います。 Argo CD とは Kubernetes向けの継続的デリバリーツールとしては、Spinnakerや Jenkins Xなどが有名です。 これらのツールは継続的デリバリーのパイプラインを統合的に管理・実行するためのツールになっています。 一方のArgo CDは、パイプライン全体を管理するのではなくパイプラインの中の1つの

こんにちは、Necoプロジェクトの池添(@zoetro)です。 今回は、Kubernetes向けにTopoLVMというCSI (Container Storage Interface) プラグインを開発したので紹介したいと思います。 TopoLVMは以下のような特徴を持っており、Kubernetesでローカルストレージを有効に利用することができます。 LVM (Logical Volume Manager) によるボリューム管理 トポロジーを考慮したダイナミックプロビジョニング ノードの空き容量に応じたスケジューリング github.com 本記事では、CSIプラグインを自作するに至った経緯とTopoLVMの特徴の紹介、Elasticsearchのストレージとして利用する例を紹介します。 ストレージへの取り組み Kubernetesでストレージを扱うことは難しいとよく言われています。しかし

こんにちは、Necoプロジェクトの池添(@zoetro)です。 このたびサイボウズがCNCF(Cloud Native Computing Foundation)にシルバーメンバーとして加盟しました。 それに伴い、我々の開発しているCKE(Cybozu Kubernetes Engine)がKubernetes Conformance Softwareに認定されました。 CKEはKubernetesクラスタの構築と運用を自動化するためのソフトウェアです。 本記事ではCKEの概要と、他のツールとは異なる特徴的な機能について紹介したいと思います。 Kubernetes Conformance Softwareとは Kubernetes Conformance Software ProgramとはCNCFが実施している認定プログラムです。 www.cncf.io 認定を取得するためには、Sono

Today Weaveworks announces a partnership with Intuit to create Argo Flux, a major open source project to drive GitOps application delivery for Kubernetes via an industry-wide community. Argo Flux combines the Argo CD project led by Intuit with the Flux CD project driven by Weaveworks. The new “Argo Flux” provides a single tool chain for continuous deployment and fleet-scale automated workflows usi