Spark and YARN - Qiita
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(ただし、ややこしいのだがHDFSやYARNのクライアントライブラリへの依存はある)なのでHadoopなしでも動かすことができる。しかしそれでもHadoopと一緒に動作させることが多いのは以下の理由による。 クラスタマネージャとしてのYARN Sparkはアプリケーション（厳密にはSparkアプリケーション）ごとに下記のようなクラスタが構築される。Driver Programと呼ばれる、SparkContextオブジェクトを持ち、アプリケーションコードの主要部分を実行するアプリケーションのマスタコンポーネントと、RDDに対するオペレーションを実行するExecutor群。そして、Driver Progr
Jupyter NotebookからKubernetesを操作する - Qiita
最近流行りのJupyter Notebook( http://jupyter.org/ )でkubectlコマンドを呼び出すことで、生きている手順書が作れるのでは？と思ったので、試してみることにしました。 このドキュメントではKubernetesクラスタの中にJupyter Notebookをデプロイし、そこから自身がデプロイされている、Kubernetesクラスタを操作する方法を紹介します。 前提条件 minkube kubectl はインストール済みとします。 minikubeによるKubernetesクラスタの作成 $ minikube start Starting local Kubernetes v1.10.0 cluster... Starting VM... Getting VM IP address... Moving files into cluster... Setti
Rancher Kubernetes Storages - Qiita
2018年、Kubernetes がやっと日本でも本格化してきた感じですね。 Rancher JP では、Rancher Meetup Tokyo #15で Storage特集をしたのですが、 その時用に作成していた資料を発表しないままになっていたのでQiitaに書いておこうと思います。 1. Rancher のストレージとは？ 基本的にKubernetesのストレージRancherはそのUIをしています PV,PVC,StorageClassが実装されています Kubernetesなストレージなので、基本的にそのまま使えます CloudProviderRancherからKubernetesをデプロイする場合は、CloudProviderの指定が必須です 2. Kubernetes のストレージおさらい 今回の記事は、@hhiroshell (早川博)さんの資料をご本人に許可をいただいて使
Docker / Kubernetesのセキュリティ調査メモ - Qiita
Webや書籍をざっとあさり、Docker / Kubernetesのセキュリティについて調査したメモ。 ※この他にも多数ありましたが、まずはこのあたりからかな？というものを書き出しています。 Dockerのセキュリティ ベースイメージ 公式イメージを利用する alpineなど、小さなイメージを利用する Docker Content Trustで署名チェックする Dockerfile rootユーザを使わず、実行ユーザを使う 外部のファイルを追加する場合はチェックサムを検証する 機密情報は環境変数など外部から取得する構成にする CI Quay.ioなどでイメージのセキュリティスキャンを行う Docker Bench for Securityで実行環境も含めたベストプラクティスをチェックする ホスト Container-Optimized OSなど、コンテナのホストとして適切なセキュリティ原則
postgresのwebguiを使いたい - Qiita
なぜやるか? 現在の状態, dbはk8sに乗っている.安全のために(maybe)外部に公開していない->loadbalancerを使わずにClusterIPを設定している. ただ開発者はDBの中身を見たいときがあるだろう. そこでweb経由で見ることができるGUIをし設定してあげたい どうやるか? pgwebをk8sに乗っけてこれにIngressを付けることにより問題の解決をはかる pgwebとは? pgwebをdockerで動かす k8sに乗っける pgwebとは? golangで書かれた管理インタフェース(だと思っている) クエリの結果をCSV,JSON,XMLに吐き出すことができる,そしてクエリの履歴を保存している. 画像のようにとてもシンプルなUI(一目惚れした) シンプルなUIである pgwebをdockerで動かす 「pgweb docker hub」で調べた感じあまりいいim
Deploymentにlabel書く部分がやたら多いけどそれ必要？ - Qiita
対象 異常なめんどくさがりの人 疑問 kubernetesのDeployment 代表的な記述例がここ https://kubernetes.io/docs/concepts/workloads/controllers/deployment/ にあるこちらですが apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:1.15.4 ports: - containerPort: 80 なんか app:
【kubernetes】liveness probeがfailして終了したコンテナは正常終了扱いになるが…？ - Qiita
【kubernetes】liveness probeがfailして終了したコンテナは正常終了扱いになるが…？kubernetes 注意 通常気にする必要のなさそうな小ネタです 最後まで追いきれてません 環境 kubernetes v1.10.5 本編 liveness probeについて https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-probes/ failするとkubeletがコンテナをkillするというのは書いてある通りでして、この場合コンテナの終了はexitCode:0で記録されています。
IBM Cloud Kubernetes ServiceでStorageClassを使った動的プロビジョニングを行う - Qiita
目的 KubernetesはPersistentVolumeClaimでStorageClassを指定することでPersistentVolumeの動的プロビジョニングを行うことができますが、そのためにはストレージ側の対応が必要になるといった環境面での制約があります。IBM Cloud Kubernetes Servicesはさすがにパブリッククラウドだけあって、クラウドのストレージサービスとの連携にももちろん対応しています。 というわけで、StorageClassを使った動的プロビジョニングを試してみます。 https://console.bluemix.net/docs/containers/cs_storage_file.html#file_storage 手順 組み込みStorageClassの確認 まずは確認。 $ kubectl get storageclasses NAME P
KubernetesでのServiceによる名前解決 - Qiita
はじめに この記事では、KubernetesでのServiceによる名前解決について書いています。ServiceはKubernetesクラスタ内において、Podの集合に対する経路やサービスディスカバリを提供するためのリソースです。Serviceのターゲットとなる一連のPodは、Serviceで定義するラベルセレクタによって決定されます。 例 まずは、ひとつのマニフェストファイルを作成して、ReplicaSetを2つ定義します。今回使うimageは、gihyodocker/nginx:latestと、gihyodocker/echo:latestです。 apiVersion: apps/v1 kind: ReplicaSet metadata: name: echo-spring labels: app: echo release: spring spec: replicas: 1 sele
KubeWeekly #153
KubeWeeklyは毎週Kubernetesに関する興味深いニュースを提供しています。（http://bit.ly/kubeweekly ）この記事は 2018/10/17に発行された Kube Weekly #153 を読んで、感じたことをメモ的にまとめたものです。 私の勘違いや説明不足による誤解もあるかと思いますので、この記事読んで「おっ」と思ったらURLを辿って本文を確認してください。 The Headlines 2018 Steering Committee Election Results Authors: Jorge Castro (Heptio), Ihor Dvoretskyi (CNCF), Paris Pittman (Google) Results The Kubernetes Steering Committee Election is now complete
AKS マルチコンテナによる gRPC 検証 - Qiita
概要 前回に引き続き、今回は gRPC マルチコンテナを Azure Kubernetes Service (AKS) 環境へデプロイしていきたいと思います。Azure Kubernetes Service (AKS) は、Kubernetes 環境を管理するフルマネージドな PaaS サービスで、コンテナ オーケストレーションの専門知識がなくても、コンテナ化したアプリケーションのデプロイと管理を簡単に行うことができます。 Azure Kubernetes Service (AKS) のデプロイ １．Azure Portal で Kubernetes Service をデプロイ [基本] [認証] [ネットワーク] と各ステップの設定を順次していきます。以下は [基本] 設定画面ですが、特に悩むこともなく必須項目を埋めて次に進みます。 ２．最終検証とクラスタ作成 各設定は全て既定のまま進み
Kubernetes JobでMySQLへデータをロードする - Qiita
ICPにMySQLに接続するLibertyアプリケーションをデプロイ の記事では、データのロードをkubectl execでMySQLコンテナの中に入って実施したが、Kubenetes Jobでやる方法を確認したメモ。 以下の記事と同じようなことをやる。 Kubernetes環境でCronJobでMySQLを定期的にバックアップ 初期化用コンテナの作成 実行するSQLはConfigMapに入れてもよいが、今回はイメージの中に含める。この例ではユーザーを作る部分でパスワードがsqlに入ってしまっているのであまりよろしくない。テンプレートとsecretで渡した環境変数からsqlを生成するか、MySQLのコンテナは環境変数MYSQL_DATABASEやMYSQL_USERとMYSQL_PASSWORDにより、コンテナの初回起動時にデータベースを1つ作成したり、ユーザーをひとり作ることができるので
Kubernetes環境でMySQL用Exporterからのメトリクス取得 - Qiita
はじめに Prometheusの公式サイトに公開された数多くあるExporterの中からMySQL用のExporterをKubernetes環境（というかICP:IBM Cloud Private環境）でデプロイしてメトリクスを取得した事例を記載する。 ExporterをDockerコンテナで実装、もしくはOS上に導入した、という事例はあったのですが、k8s環境で実装という例（わかりやすい例）がなかったのでその実装について書きます。 構成図 こういう構成となります↓ ※Prometheusが直接アクセスするのはMySQLのPodではなくExporterのPodとなります。（当初勘違いしていました・・。） 構成 Prometheus：v2.3.1（IBMのchart使用：リンク） MySQL：latestのdockerイメージ使用 ICP：v2.1.0.3 設定作成 下記のマニフェストファイ
EKSやGKEで動作確認したマニフェストをIKSで動かした結果 - Qiita
クラスタの作成 メニューからコンテナーを選択すると、次の画面が表示されるので、「クラスターの作成」をクリックして、進めます。 東京リージョンの３つのデータセンターに、ワーカーノードを１台づつデプロイします。 ワーカーノードは、仮想サーバーの共有型と占有型、そして、物理サーバー（ベアメタル）の３つから選べます。 仮想サーバーのCPUコア数は、最小2コアから、最大56コアまで選択できます。 経験上では仮想サーバーで8コア以上使っても性能を出すためのチューニングが難しいので、８コア超えるワーカーノードが必要なら、ベアメタルがお勧めです。（個人の見解であり、会社を代表していません） ベアメタルの場合は、4コアから28コアまで利用できます。 ここでのコア数は物理的なコア数です。従って、Xeonプロセッサは、1コア=2スレッドですから、4コアの場合は、仮想サーバーのvCPU 8コアと同等になります。
kubeadmによるKubernetesクラスタ構築 on AWS - Qiita
Kubernetes公式のセットアップツールkubeadmを利用してのシングルマスター構成をAWS上に構築できるかのトライ。動作は確認、実働に耐えうるかについては未調査。 Amazon Linux 2 Nitro Systemベースのインスタンス での動作の確認が目的 公式のk8sクラスタ作成ツール。Kopsと違い一つノードの中からプロビジョニングしていくボトムアップなスタイルで、カスタマイズ性が高いのも特徴。 Amazon Linux 2 K8Sが理想的に動作するのであれば、基本はベースOSはなんでもいいはずで、AWSで動作させるのであればメンテが便利なAmazon Linuxがベストのはず。EKS optimized AMIもAmazon Linux 2ベース。 Nitro System C5, M5, T3などのインスタンスの元のシステム。諸々すごいのだけれど、NW帯域幅が増大してい
AWS初心者だけど、EKSのクラスタを作って、NodePort と ELBアクセス、EBSのPVを確認したよ - Qiita
AWS初心者だけど、EKSのクラスタを作って、NodePort と ELBアクセス、EBSのPVを確認したよAWSkuberneteseks 自己研鑽で学んだことのメモです。 準備事項 kubectlをインストールする AWS CLIをインストールする aws-iam-authenticator をインストールする キーペアを作成する サービスロールを作成する クラスタVPCを作成する インストールするものから、先に進めていきます。EKSは、日本から一番近いオレゴンのリージョンを利用しました。 1.kubectlコマンドのインストール 筆者が試したところ、CNCFからダウンロードした kubectl コマンドでも、利用できたので、特別にビルドされたものではないようです。 https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/confi
オフラインのCentOS 7にMinikube環境を構築する - Qiita
CentOS 7にMinikube環境を構築する オフラインで環境を作る方法を確認したメモ。別途上記手順で作成したオンラインのMinikube環境があるとして、そこで必要なものをダウンロードしてオフライン環境に持ち込む。 オンライン環境でのファイルの準備 移動してくる必要があるものは以下。 dockerのrpm docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm CLI等のバイナリ kubectl minikube crictl helm kubeadm kubelet Dockerイメージ dockerのrpm オンラインの環境でyumdownloaderを使ってrpmをダウンロードする。 sudo yum install yum-utils s
Master NodeにPodをデプロイするための設定 - Qiita
Master Node1つのみの構成でKubernetesのセットアップを行った際に、セットアップ作業はエラー無く完了したにもかかわらず、Podのdeployを行うとpendingになってしまう現象が発生しました。 原因の調査と対応方法についてシェアします。 なお、この対応をした環境は検証用の環境であり、敢えてMaster Nodeの1台構成で構築している環境です。ご利用の環境における適切なNode構成は別途検討が必要です。 環境 OS: Ubuntu 16.04.01 Kubernetes: v1.11 現象 Kubernetesをセットアップする間は特にエラーはなく、kube-systemのpodも正常に稼動している。 しかし、podをdeployするとpending状態となり起動しない。 kubectl describe poを実行すると「0/1 nodes are availabl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon EKS にNvidia Dockerを乗せてみる(※更新中) - Qiita
kubernetesでmicro-service(React, Flask, PostgreSQL)のローカル開発環境を構築 - Qiita