Spark and YARN - Qiita
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(ただし、ややこしいのだがHDFSやYARNのクライアントライブラリへの依存はある)なのでHadoopなしでも動かすことができる。しかしそれでもHadoopと一緒に動作させることが多いのは以下の理由による。 クラスタマネージャとしてのYARN Sparkはアプリケーション（厳密にはSparkアプリケーション）ごとに下記のようなクラスタが構築される。Driver Programと呼ばれる、SparkContextオブジェクトを持ち、アプリケーションコードの主要部分を実行するアプリケーションのマスタコンポーネントと、RDDに対するオペレーションを実行するExecutor群。そして、Driver Progr
PKI certificates and requirements
PKI certificates and requirementsKubernetes requires PKI certificates for authentication over TLS. If you install Kubernetes with kubeadm, the certificates that your cluster requires are automatically generated. You can also generate your own certificates -- for example, to keep your private keys more secure by not storing them on the API server. This page explains the certificates that your clust
よくある質問 - Amazon EKS | AWS
Amazon Elastic Kubernetes Service (Amazon EKS) とは何ですか? Amazon EKS は、AWS での Kubernetes の実行を容易にするマネージドサービスであり、独自の Kubernetes コントロールプレーンやワーカーノードをインストールして操作する必要はありません。 Kubernetes はオープンソースのコンテナオーケストレーションシステムであり、コンテナ化されたアプリケーションを大規模にデプロイおよび管理できるようにします。Kubernetes は、コンテナを論理的なグループに分けてを管理、発見できるようにしてから、Amazon Elastic Compute Cloud (Amazon EC2) インスタンスのクラスター上で起動します。Kubernetes をお使いになると、オンプレミス、クラウドで同じツールセットを用いて、
minikube start
minikube is local Kubernetes, focusing on making it easy to learn and develop for Kubernetes. All you need is Docker (or similarly compatible) container or a Virtual Machine environment, and Kubernetes is a single command away: minikube start What you’ll need 2 CPUs or more 2GB of free memory 20GB of free disk space Internet connection Container or virtual machine manager, such as: Docker, QEMU, H
Share Process Namespace between Containers in a Pod
KubeCon + CloudNativeCon 2024Join us for three days of incredible opportunities to collaborate, learn and share with the cloud native community. Buy your ticket now! 12 - 15 November | Salt Lake City Share Process Namespace between Containers in a PodThis page shows how to configure process namespace sharing for a pod. When process namespace sharing is enabled, processes in a container are visible
Set up an Extension API Server
Set up an Extension API ServerSetting up an extension API server to work with the aggregation layer allows the Kubernetes apiserver to be extended with additional APIs, which are not part of the core Kubernetes APIs. Before you begin You need to have a Kubernetes cluster, and the kubectl command-line tool must be configured to communicate with your cluster. It is recommended to run this tutorial o
Namespaces
NamespacesIn Kubernetes, namespaces provide a mechanism for isolating groups of resources within a single cluster. Names of resources need to be unique within a namespace, but not across namespaces. Namespace-based scoping is applicable only for namespaced objects (e.g. Deployments, Services, etc.) and not for cluster-wide objects (e.g. StorageClass, Nodes, PersistentVolumes, etc.). When to Use Mu
Glossary
This glossary is intended to be a comprehensive, standardized list of Kubernetes terminology. It includes technical terms that are specific to Kubernetes, as well as more general terms that provide useful context.
Dynamic Admission Control
Dynamic Admission ControlIn addition to compiled-in admission plugins, admission plugins can be developed as extensions and run as webhooks configured at runtime. This page describes how to build, configure, use, and monitor admission webhooks. What are admission webhooks?Admission webhooks are HTTP callbacks that receive admission requests and do something with them. You can define two types of a
kops/docs/horizontal_pod_autoscaling.md at master · kubernetes/kops
With Horizontal Pod Autoscaling, Kubernetes automatically scales the number of pods in a replication controller, deployment, or replica set based on observed CPU utilization (or, with alpha support, on some other, application-provided metrics). The HorizontalPodAutscaler autoscaling/v2 stable API moved to GA in 1.23. The previous stable version, which only includes support for CPU autoscaling, can
AWS re:Invent 2017で発表されたコンテナ関連サービス(EKS、Fargate)のまとめと自社サービスへの活用 – PSYENCE.MEDIA
この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2017 の投稿記事です。 こんにちは、開発支援Gでインフラ運用をしている大島です。アドベントカレンダー 2017 の記念すべき1日目は AWS re:Invent in ラスベガス からお届けします。 AWS re:InventはAmazon Web Service, Inc.が毎年開催している技術とマーケティングののカンファレンスで、今回は6回目の開催となります。新しいサービスや機能のアップデートが基調講演で発表されたり、1000以上のセッションが行われたりするなどお楽しみが盛り沢山な5日間のイベントです。 開発支援Gが管轄しているサービスのインフラは主にAWS上に構築されており、DockernizeしたアプリケーションをAmazon Elastic Container Service（以
料金 - Amazon EKS | AWS
Amazon Elastic Kubernetes Service (Amazon EKS) は、Kubernetes コントロールプレーンを管理、保護、またはスケールすることなく Kubernetes アプリケーションを実行できる、マネージド Kubernetes サービスです。Amazon EKS では、最低料金や前払いの義務はありません。Amazon EKS には、Kubernetes クラスターバージョンのサポートに基づくクラスターごとの料金、Amazon EKS Auto Mode の料金、Amazon EKS Hybrid Node の vCPU あたりの料金が設定されています。また、Amazon EC2 インスタンス、Amazon EBS ボリューム、パブリック IPv4 アドレスなどの Kubernetes ワーカーノードでアプリケーションを実行するために使用するリソースに
Kubelet authentication/authorization
KubeCon + CloudNativeCon North America 2021 Los Angeles, California + Virtual. 5 days of incredible opportunites to collaborate, learn + share with the entire community! October 11 - 15, 2021. Overview A kubelet's HTTPS endpoint exposes APIs which give access to data of varying sensitivity, and allow you to perform operations with varying levels of power on the node and within containers. This doc
Container Runtimes
Note: Dockershim has been removed from the Kubernetes project as of release 1.24. Read the Dockershim Removal FAQ for further details. You need to install a container runtime into each node in the cluster so that Pods can run there. This page outlines what is involved and describes related tasks for setting up nodes. Kubernetes 1.34 requires that you use a runtime that conforms with the Container
kubectl Usage Conventions
kubectl Usage ConventionsRecommended usage conventions for kubectl. Using kubectl in Reusable ScriptsFor a stable output in a script: Request one of the machine-oriented output forms, such as -o name, -o json, -o yaml, -o go-template, or -o jsonpath.Fully-qualify the version. For example, jobs.v1.batch/myjob. This will ensure that kubectl does not use its default version that can change over time.
Reserve Compute Resources for System Daemons
Reserve Compute Resources for System DaemonsKubernetes nodes can be scheduled to Capacity. Pods can consume all the available capacity on a node by default. This is an issue because nodes typically run quite a few system daemons that power the OS and Kubernetes itself. Unless resources are set aside for these system daemons, pods and system daemons compete for resources and lead to resource starva
Runtime Class
This page describes the RuntimeClass resource and runtime selection mechanism. RuntimeClass is a feature for selecting the container runtime configuration. The container runtime configuration is used to run a Pod's containers. MotivationYou can set a different RuntimeClass between different Pods to provide a balance of performance versus security. For example, if part of your workload deserves a h
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Manage Amazon EMR clusters - Amazon EMR
Plan, configure and launch Amazon EMR clusters - Amazon EMR
GKE cluster architecture | Google Kubernetes Engine (GKE) | Google Cloud
