Spark and YARN - Qiita
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(ただし、ややこしいのだがHDFSやYARNのクライアントライブラリへの依存はある)なのでHadoopなしでも動かすことができる。しかしそれでもHadoopと一緒に動作させることが多いのは以下の理由による。 クラスタマネージャとしてのYARN Sparkはアプリケーション（厳密にはSparkアプリケーション）ごとに下記のようなクラスタが構築される。Driver Programと呼ばれる、SparkContextオブジェクトを持ち、アプリケーションコードの主要部分を実行するアプリケーションのマスタコンポーネントと、RDDに対するオペレーションを実行するExecutor群。そして、Driver Progr
Jupyter NotebookからKubernetesを操作する - Qiita
最近流行りのJupyter Notebook( http://jupyter.org/ )でkubectlコマンドを呼び出すことで、生きている手順書が作れるのでは？と思ったので、試してみることにしました。 このドキュメントではKubernetesクラスタの中にJupyter Notebookをデプロイし、そこから自身がデプロイされている、Kubernetesクラスタを操作する方法を紹介します。 前提条件 minkube kubectl はインストール済みとします。 minikubeによるKubernetesクラスタの作成 $ minikube start Starting local Kubernetes v1.10.0 cluster... Starting VM... Getting VM IP address... Moving files into cluster... Setti
Rancher Kubernetes Storages - Qiita
2018年、Kubernetes がやっと日本でも本格化してきた感じですね。 Rancher JP では、Rancher Meetup Tokyo #15で Storage特集をしたのですが、 その時用に作成していた資料を発表しないままになっていたのでQiitaに書いておこうと思います。 1. Rancher のストレージとは？ 基本的にKubernetesのストレージRancherはそのUIをしています PV,PVC,StorageClassが実装されています Kubernetesなストレージなので、基本的にそのまま使えます CloudProviderRancherからKubernetesをデプロイする場合は、CloudProviderの指定が必須です 2. Kubernetes のストレージおさらい 今回の記事は、@hhiroshell (早川博)さんの資料をご本人に許可をいただいて使
Docker / Kubernetesのセキュリティ調査メモ - Qiita
Webや書籍をざっとあさり、Docker / Kubernetesのセキュリティについて調査したメモ。 ※この他にも多数ありましたが、まずはこのあたりからかな？というものを書き出しています。 Dockerのセキュリティ ベースイメージ 公式イメージを利用する alpineなど、小さなイメージを利用する Docker Content Trustで署名チェックする Dockerfile rootユーザを使わず、実行ユーザを使う 外部のファイルを追加する場合はチェックサムを検証する 機密情報は環境変数など外部から取得する構成にする CI Quay.ioなどでイメージのセキュリティスキャンを行う Docker Bench for Securityで実行環境も含めたベストプラクティスをチェックする ホスト Container-Optimized OSなど、コンテナのホストとして適切なセキュリティ原則
postgresのwebguiを使いたい - Qiita
なぜやるか? 現在の状態, dbはk8sに乗っている.安全のために(maybe)外部に公開していない->loadbalancerを使わずにClusterIPを設定している. ただ開発者はDBの中身を見たいときがあるだろう. そこでweb経由で見ることができるGUIをし設定してあげたい どうやるか? pgwebをk8sに乗っけてこれにIngressを付けることにより問題の解決をはかる pgwebとは? pgwebをdockerで動かす k8sに乗っける pgwebとは? golangで書かれた管理インタフェース(だと思っている) クエリの結果をCSV,JSON,XMLに吐き出すことができる,そしてクエリの履歴を保存している. 画像のようにとてもシンプルなUI(一目惚れした) シンプルなUIである pgwebをdockerで動かす 「pgweb docker hub」で調べた感じあまりいいim
Deploymentにlabel書く部分がやたら多いけどそれ必要？ - Qiita
apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:1.15.4 ports: - containerPort: 80 なんか app: nginx 多くないですか？ と思ったので少し調べました。 それぞれの役割 まずはそれぞれにどういう意味があるのかを確認します。 これはわかりやすく書いてある記事があるのでそちらを読みましょう。 https://44smkn.hatenadiary.com/ent
IBM Cloud Kubernetes ServiceでStorageClassを使った動的プロビジョニングを行う - Qiita
目的 KubernetesはPersistentVolumeClaimでStorageClassを指定することでPersistentVolumeの動的プロビジョニングを行うことができますが、そのためにはストレージ側の対応が必要になるといった環境面での制約があります。IBM Cloud Kubernetes Servicesはさすがにパブリッククラウドだけあって、クラウドのストレージサービスとの連携にももちろん対応しています。 というわけで、StorageClassを使った動的プロビジョニングを試してみます。 https://console.bluemix.net/docs/containers/cs_storage_file.html#file_storage 手順 組み込みStorageClassの確認 まずは確認。 $ kubectl get storageclasses NAME P
KubernetesでのServiceによる名前解決 - Qiita
はじめに この記事では、KubernetesでのServiceによる名前解決について書いています。ServiceはKubernetesクラスタ内において、Podの集合に対する経路やサービスディスカバリを提供するためのリソースです。Serviceのターゲットとなる一連のPodは、Serviceで定義するラベルセレクタによって決定されます。 例 まずは、ひとつのマニフェストファイルを作成して、ReplicaSetを2つ定義します。今回使うimageは、gihyodocker/nginx:latestと、gihyodocker/echo:latestです。 apiVersion: apps/v1 kind: ReplicaSet metadata: name: echo-spring labels: app: echo release: spring spec: replicas: 1 sele
KubeWeekly #153
KubeWeeklyは毎週Kubernetesに関する興味深いニュースを提供しています。（http://bit.ly/kubeweekly ）この記事は 2018/10/17に発行された Kube Weekly #153 を読んで、感じたことをメモ的にまとめたものです。 私の勘違いや説明不足による誤解もあるかと思いますので、この記事読んで「おっ」と思ったらURLを辿って本文を確認してください。 The Headlines 2018 Steering Committee Election Results Authors: Jorge Castro (Heptio), Ihor Dvoretskyi (CNCF), Paris Pittman (Google) Results The Kubernetes Steering Committee Election is now complete
AKS マルチコンテナによる gRPC 検証 - Qiita
概要 前回に引き続き、今回は gRPC マルチコンテナを Azure Kubernetes Service (AKS) 環境へデプロイしていきたいと思います。Azure Kubernetes Service (AKS) は、Kubernetes 環境を管理するフルマネージドな PaaS サービスで、コンテナ オーケストレーションの専門知識がなくても、コンテナ化したアプリケーションのデプロイと管理を簡単に行うことができます。 Azure Kubernetes Service (AKS) のデプロイ １．Azure Portal で Kubernetes Service をデプロイ [基本] [認証] [ネットワーク] と各ステップの設定を順次していきます。以下は [基本] 設定画面ですが、特に悩むこともなく必須項目を埋めて次に進みます。 ２．最終検証とクラスタ作成 各設定は全て既定のまま進み
Kubernetes JobでMySQLへデータをロードする - Qiita
ICPにMySQLに接続するLibertyアプリケーションをデプロイ の記事では、データのロードをkubectl execでMySQLコンテナの中に入って実施したが、Kubenetes Jobでやる方法を確認したメモ。 以下の記事と同じようなことをやる。 Kubernetes環境でCronJobでMySQLを定期的にバックアップ 初期化用コンテナの作成 実行するSQLはConfigMapに入れてもよいが、今回はイメージの中に含める。この例ではユーザーを作る部分でパスワードがsqlに入ってしまっているのであまりよろしくない。テンプレートとsecretで渡した環境変数からsqlを生成するか、MySQLのコンテナは環境変数MYSQL_DATABASEやMYSQL_USERとMYSQL_PASSWORDにより、コンテナの初回起動時にデータベースを1つ作成したり、ユーザーをひとり作ることができるので
Kubernetes環境でMySQL用Exporterからのメトリクス取得 - Qiita
はじめに Prometheusの公式サイトに公開された数多くあるExporterの中からMySQL用のExporterをKubernetes環境（というかICP:IBM Cloud Private環境）でデプロイしてメトリクスを取得した事例を記載する。 ExporterをDockerコンテナで実装、もしくはOS上に導入した、という事例はあったのですが、k8s環境で実装という例（わかりやすい例）がなかったのでその実装について書きます。 構成図 こういう構成となります↓ ※Prometheusが直接アクセスするのはMySQLのPodではなくExporterのPodとなります。（当初勘違いしていました・・。） 構成 Prometheus：v2.3.1（IBMのchart使用：リンク） MySQL：latestのdockerイメージ使用 ICP：v2.1.0.3 設定作成 下記のマニフェストファイ
kubeadmによるKubernetesクラスタ構築 on AWS - Qiita
Kubernetes公式のセットアップツールkubeadmを利用してのシングルマスター構成をAWS上に構築できるかのトライ。動作は確認、実働に耐えうるかについては未調査。 Amazon Linux 2 Nitro Systemベースのインスタンス での動作の確認が目的 kubeadm 公式のk8sクラスタ作成ツール。Kopsと違い一つノードの中からプロビジョニングしていくボトムアップなスタイルで、カスタマイズ性が高いのも特徴。 Amazon Linux 2 K8Sが理想的に動作するのであれば、基本はベースOSはなんでもいいはずで、AWSで動作させるのであればメンテが便利なAmazon Linuxがベストのはず。EKS optimized AMIもAmazon Linux 2ベース。 Nitro System C5, M5, T3などのインスタンスの元のシステム。諸々すごいのだけれど、NW帯
AWS初心者だけど、EKSのクラスタを作って、NodePort と ELBアクセス、EBSのPVを確認したよ - Qiita
自己研鑽で学んだことのメモです。 準備事項 kubectlをインストールする AWS CLIをインストールする aws-iam-authenticator をインストールする キーペアを作成する サービスロールを作成する クラスタVPCを作成する インストールするものから、先に進めていきます。EKSは、日本から一番近いオレゴンのリージョンを利用しました。 1.kubectlコマンドのインストール 筆者が試したところ、CNCFからダウンロードした kubectl コマンドでも、利用できたので、特別にビルドされたものではないようです。 https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/configure-kubectl.html ホームディレクトリに、ディレクトリ aws-eks を作成して、ダウンロードした kubectl を保存し
Master NodeにPodをデプロイするための設定 - Qiita
Master Node1つのみの構成でKubernetesのセットアップを行った際に、セットアップ作業はエラー無く完了したにもかかわらず、Podのdeployを行うとpendingになってしまう現象が発生しました。 原因の調査と対応方法についてシェアします。 なお、この対応をした環境は検証用の環境であり、敢えてMaster Nodeの1台構成で構築している環境です。ご利用の環境における適切なNode構成は別途検討が必要です。 環境 OS: Ubuntu 16.04.01 Kubernetes: v1.11 現象 Kubernetesをセットアップする間は特にエラーはなく、kube-systemのpodも正常に稼動している。 しかし、podをdeployするとpending状態となり起動しない。 kubectl describe poを実行すると「0/1 nodes are availabl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon EKS にNvidia Dockerを乗せてみる(※更新中) - Qiita
【kubernetes】liveness probeがfailして終了したコンテナは正常終了扱いになるが…？ - Qiita
kubernetesでmicro-service(React, Flask, PostgreSQL)のローカル開発環境を構築 - Qiita
EKSやGKEで動作確認したマニフェストをIKSで動かした結果 - Qiita
オフラインのCentOS 7にMinikube環境を構築する - Qiita
