機械学習基盤をKubernetesで運用してきて - kuromt blog
※ この記事は別のサイトで2018年12月08日に公開していた記事をコピーしたものです. この記事について 普段からオンプレのKubernetesクラスタを使った研究開発に携わっており、LANケーブルの配線から新バージョンのKubernetesやエコシステムの検証、構築、運用保守、独自ツールの開発に加えてフロントエンドのGUIをmaterial-uiで作ったりとほぼ全レイヤをやっています。 今回は機械学習の実行基盤としてKubernetesを運用してきたなかで得られた知見について書いていきます。 運用中のKubernetesクラスタについて 運用しているKubernetesクラスタはオンプレミスのCPUサーバとGPUサーバの混合構成で、さらにGPUサーバは複数の世代のGPUが混ざっています。 データサイエンティスト向けに内製した機能を持つことが大きな特徴ではありますが、用途は機械学習に限定
Kubernetes の認証・認可と RBAC
Kubernetes Meetup Tokyo #4 https://k8sjp.connpass.com/event/53737/
Airflow on Kubernetes (Part 1): A Different Kind of Operator
This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. Author: Daniel Imberman (Bloomberg LP) IntroductionAs part of Bloomberg's continued commitment to developing the Kubernetes ecosystem, we are excited to announce the Kubernetes Airflow Operator; a mechanism for Apache Airflow, a
WebAssembly meets Kubernetes with Krustlet - Microsoft Open Source Blog
Linux container technology has changed the face of computing, but especially distributed computing in publicly rentable servers commonly said to be “the public cloud” (like Microsoft Azure). With containers came tooling – like Docker – and systems that orchestrate potentially millions of them – with Kubernetes becoming the most widely used. Together, they have enabled millions of developers and or
KustomizeでKubernetes YAMLを管理する
Kubernetes YAMLの壁で述べたようにKubernetesのYAML管理はKubernetesユーザにとって長年の課題だ．コミュニティでは様々なツールが議論されてきた．先日SIG-CLIから登場したkustomizeは将来的にkubectlに統合される前提で開発されている+他のツールと比べても非常に筋が良い（と感じている）．本記事ではkustomizeが登場した背景とKustomizeを使って何ができるのかをまとめる． Declarativeであること Declarative ConfigurationはKubernetesの重要な機能の一つだ．KubernetesユーザはKubernetes APIに対してあるべきDesiredな状態を宣言（Declare）することでKubernetesはその状態になるように動き続ける．例えばユーザが「Podを5つ動かす」という状態を宣言すると
Kubernetesのユーザー管理と認証・権限確認機構を理解しよう | さくらのナレッジ
Kubernetesはさまざまな環境で利用され、かつ不特定多数がクラスタにアクセスできることを前提に構築されており、そのため非常に柔軟なユーザー認証機構やユーザーの権限を管理する機能が組み込まれている。本記事ではこれらの認証や権限確認機構がどのように働くのかや、その仕組みについて解説する。 Kubernetesにおける認証の必要性 Kubernetesはさまざまな企業・組織が参加するオープンな組織「Cloud Native Computing Foundation(CNCF)」によって開発が進められているが、元々はGoogleによってその開発がスタートしたプロジェクトであり、同社の持つコンテナクラスタ管理技術を元にしている。そのため、Kubernetesは当初から不特定多数がアクセスできるパブリッククラウドでの利用が想定されており、そういった環境でもセキュアかつ柔軟に利用できるよう設計され
マイクロサービスアーキテクチャ向けにサービスメッシュを提供する「Istio」の概要と環境構築、トラフィックルーティング設定 | さくらのナレッジ
Istio環境の構築 さて、続いては実際にIstioを利用できるクラスタ環境を構築していく流れを紹介していこう。 前提条件 Istioの利用には、まずコンテナエンジンとしてDockerが必要となる。また、対応するコンテナクラスタはKubernetes（バージョン1.9以降）もしくはNomad＋サービスディスカバリツールConsul環境となっている。ただし、現時点ではNomadベースのクラスタでの利用は未テストというステータスのようだ。そのため今回は独自に構築したKubernetesベースのクラスタ上でIstioを利用する流れを説明する。 なお、IstioはKubernetesのServiceやPod、Deploymentといった機能と連携して動作するようになっている。そのため、利用にはKubernetesの知識が前提となる。本記事もKubernetesに関する知識がないと理解が難しい点があ
Kubernetes: パッケージマネージャHelm - Qiita
公式レポジトリ 公式レポジトリではstableとincubatorの2つに分けて管理されています。kubernetes/chartsのstableの説明によると下記のポリシーで運用されています。 データ永続化の方法が提供される アプリケーションのアップグレードがサポートされる アプリケーション設定のカスタマイズを許可する セキュアなデフォルト設定を持つ Kubernetesのアルファ機能を利用しない 公式レポジトリ以外に任意のレポジトリを使用することも可能です。なお、現在は下記のパッケージが提供されています。 Stable drupal jenkins mariadb mysql redmine wordpress Incubator consul elasticsearch etcd grafana mongodb patroni prometheus spark zookeeper 旧
KubernetesのReadWriteOnceなvolume - nekop's blog
よく聞かれるトピックでブログに書いてたと思ってたんだけど実は書いてなかったようだ。Amazon EBSとかGCEPersistentDiskとかAzureDiskとかGluster Block Storageとかを利用するReadWriteOnceのvolumeのお話。 https://kubernetes.io/docs/concepts/storage/persistent-volumes/#access-modes access modeがReadWriteOnceというvolumeはいわゆるブロックデバイスタイプのvolumeであり、複数のホストから同時に同一のvolumeを利用することはできない(もし実際に複数ホストから同時に書き込まれるとデータが壊れる)。複数のホストから同時に利用できないので、ReplicaSetでスケールさせた場合にpodを複数ホストに分散させることはできな
Kubernetesに初めて実装された「Container Storage Interface」は、Kubernetes、Mesos、Docker、Cloud Foundryが共同策定したコンテナ用ストレージAPI
Kubernetesに初めて実装された「Container Storage Interface」は、Kubernetes、Mesos、Docker、Cloud Foundryが共同策定したコンテナ用ストレージAPI 先月リリースされたKubernetes 1.9には、Kubernetesからコンテナ用ストレージを制御するためのAPI「Container Storage Interface」（以下CSI）がアルファ版として初めて実装されました。 Container Storage Interfaceで実現すること CSIは、Kubernetes、Mesos、Docker、Cloud Foundryなど、複数のコンテナ関連ツールのメンバーが協力して仕様を策定しているストレージAPIです。 つまりKubernetesだけでなく、こうしたコンテナ関連ツールはどれも同様のコンテナストレージAPIを備
Kubernetes と CSI(Container Storage Interface) について - ブログのしゅーくりーむ
この記事は Kubernetes2 Advent Calendar 4 日目の記事です。 本記事は CSI(Container Storage Interface) と Kubernetes での CSI のサポートについて触れます。 執筆に時間があまり割けなかった為、後でもう少し加筆する、あるいは別途続きの記事を書くかもしれません。 CSI(Container Storage Interface) とは CSI(Container Storage Interface, 以下 CSI) は Kubernetes など複数の Container Orchestration (CO) から共通のプラグインを使って SP (Storage Provider) とやり取りするためのインタフェース仕様です。 より具体的には、 CO からストレージを抽象化した Volume をアタッチ・デタッチしたり
KubernetesにおけるContainer Storage Interface (CSI)の概要と検証 - Qiita
CSIの概要 Kubernetes v1.9よりContainer Storage Interface (CSI)がAlphaバージョンとしてサポートが開始され、v1.10にてBetaバージョンとしてサポートされています。v1.13でGAになりました。v1.8 までのKubernetesのストレージ関連の機能は、Kubernetesのソースに直に組み込まれる実装("in-tree")で提供されていました。そのため、外部ストレージの開発を行う3rd パーティベンダは、Kubernetes のソースコードへアップストリームする必要があり、リリースのタイミングをKubernetesの開発チームと歩調をあわせる必要がありました。また、v1.8にて追加されたFlexvolumeでは、Kubernetesの Node, MasterのRoot FileSystem にアクセスが必要であり、デプロイが煩
Kubernetesをサービスメッシュ化するIstioとは？
2017年12月にオースチンで開かれたKubeCon＋CloudNativeConは非常な盛り上がりで、いよいよKubernetesがコンテナオーケストレーションの本流として認知されたイベントであった言える。しかしクラウドネイティブなシステムを指向するエンジニアは「複数のコンテナを同時に管理できるのは良いけど、どうやって全体を管理するのか？」に注目している。その解決策のひとつがサービスメッシュだ。 今回は、KubeConでのセッションを紹介しつつ、Istioの基本的な概要を紹介したい。 今回紹介する動画は、KubeConでのセッションで「Setting Sail with Istio [B]」と題されたもので、スピーカーはMicrosoftのLachlan Evenson氏だ。 Evenson氏は「マイクロサービスといっても、実際にそれを実現するのは難しい」と言う話からスタートした。またマ
Running MongoDB on Kubernetes with StatefulSets
This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. Conventional wisdom says you can’t run a database in a container. “Containers are stateless!” they say, and “databases are pointless without state!” Of course, this is not true at all. At Google, everything runs in a container,
Kubernetesクラスタ環境を構築してDashboardで見える化を試してみた - Taste of Tech Topics
こんにちは。 ポケモンGOみなさんやってますか？私は開始1週間くらいで一度止めてしまったのですが、周りが続けているのに触発されて再開。先日ようやくレベル20まで上がりました。 どうも、@kojiisdです。 さて、今回はKubernetesについてです。 最近Kubernetes（以下k8s）を使うと決めて、k8sの環境構築をしています。 その際、公式のドキュメントやさくらのナレッジさんの記事が非常に参考になったのですが、OSやk8sなどのバージョンが一部異なるため、いろいろと試行錯誤を重ねることになりました。 kubernetesによるDockerコンテナ管理入門 - さくらのナレッジ Kubernetes - What is Kubernetes? そこで、同じような環境構築をしている人に、一例として少しでも参考になればと思い、k8sクラスタ環境の構築～Dashboardのインストール
minikube でローカルでのテスト用 Kubernetes を構築
Kubernetes を調査しようかなということで minikube を使ったセットアップを試してみる 環境は Ubuntu 16.04 の Note PC minikube は single node の Kubernetes を 1 コマンドでセットアップすることができるツールです。Windows でも使えます。 KVM または VirtualBox で仮想サーバをたてて、そこで Kubernetes 環境が構築されます。 kubectl のインストールKubernetes の操作には kubectl が必要なのでまずはこれをインストール curl -Lo kubectl http://storage.googleapis.com/kubernetes-release/release/v1.4.0/bin/linux/amd64/kubectl \ && chmod +x kubect
Helm - The Kubernetes Package Manager
The package manager for KubernetesHelm is the best way to find, share, and use software built for Kubernetes. Helm helps you manage Kubernetes applications — Helm Charts help you define, install, and upgrade even the most complex Kubernetes application. Charts are easy to create, version, share, and publish — so start using Helm and stop the copy-and-paste. Helm is a graduated project in the CNCF
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM ソリューション ブログ