たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込めるようにする スケーラビリティの確保 DataRobotについて スコアリングコード機能 実装上のポイント 工夫点 はまったポイント 所感 あとがき TL;DR 機械学習基盤をKubernates上で構成することで、機械学習にかかわる一連の処理の再現性を担保できるようになった。 AutoML製品（DataRobot)の機能をKubernates（以下k8s)上で実行させることで、バッチ予測を並行実行し、大幅に高速化することができた。 データサイエンティストが自分自身で容易に機械学習パイプラインの定義・デプロイができるようになった。 自己
「15 Stepで習得 Dockerから入るKubernates」を読んでEC2で演ってみた：（２）各演習（Step）でのメモ - なからなLife
この本、 15Stepで習得 Dockerから入るKubernetes コンテナ開発からK8s本番運用まで (StepUp!選書) 作者:高良 真穂発売日: 2019/09/27メディア: 単行本（ソフトカバー）半分くらいまでは、DockerとKubernetesについての解説で、後半が15 Stepの演習になってます。 このエントリは、その15 Stepの各ステップで、前回のエントリで作ったEC2環境でどう扱うかに絞ったメモです。 あくまで、この本が手元にある状況での補足説明です。手元にないと、さっぱりわからないと思います。 Step 01 コンテナ最初の一歩 ここはKubernetesクラスター自体は不要で、Dockerのノード１つとレジストリがあればOKです。 なので、シングルで動かすならMasterとして立てたインスタンス１つだけ、あえて環境分離をするならば、master＋Work
はじめに k8sもいろいろなシステムで採用されるようになった昨今、仕事でk8sを触ることも増えてきた 概要などは把握しているが仕事で触ることも増えてきたので、k8sの勉強を本格的にしようかと思ったりした 資格を取るのもありだが、自分で触ってみるのが一番速いという経験のもと、ひと昔前に流行ったおうちKubernatesクラスターを作ってみることにした おうちKubernatesクラスターを作ろう(物理編) 今回はせっかくなのでRaspberry Piを使って物理てきに構築した VM上で構築しなかった理由は、物理端末があったほうがテンションがあがるじゃん? パーツたち Kubernatesクラスターを作るのに用意した素材は下記 商品 個数 値段 備考 Raspberry Pi4 ModelB 4GB 2 9,660 Amazonのプライムデーで買った Raspberry Pi4クラスターケース
「15 Stepで習得 Dockerから入るKubernates」を読んでEC2で演ってみた：（１）概要と環境構築 - なからなLife
やっとkubernetesに手を出した 本職がDB専業、MySQL、PostgreSQL、Oracleの導入、チューニング、移行などの支援がメインということもあり、k8sを使うインセンティブもモチベーションも非常に低かったのです。 しかし、流石にぼちぼち触っておこうと思い、このコロナ禍での在宅勤務と、稼働率が少し落ち着いてきたのが重なって自由な時間が増えたところに、この本と出会ったという色々な偶然が重なったので一念発起しました。 k8sは進化が早くて、書籍はあっという間に陳腐化するし、ネット上に散財している情報はチュートリアル的に一気通貫で学べるものが少ないなど、非常にとっかかりにくい状況でしたが、この本がまさに求めていたタイプの本でした。 なお、2年くらい前にDockerについて勉強して、一通りの概念、操作は理解したものの、マルチノード環境の構築のところでFlannelが正しく機能するよ
builderscon tokyo 2018 で Kubernates に関する 発表がいくつかありました。業務的に使う機会がなかったのですが、これを機に触ってみようと思い、まずは環境構築から、という話です。 事前準備以降は以下の環境にて実行することを前提としています。 MacOS XHomebrewVirtualBoxのインストール今回インストールする Minikube では以下のVMをサポートしています。 virtualboxvmwarefusionKVM2KVM (deprecated in favor of KVM2)hyperkitxhyvehypervなんでも良いのですが、今回は過去に使ったことのある VirtualBox のインストーラをダウンロードし、インストールしました。 Minikube をインストールする次に、ローカル環境で Kubernates を動かすために、 M
Kubernatesでstorageclass.storage.k8s.io "standard" not foundエラー - 動かざることバグの如し
PersistentVolumeを作成したらエラーになる 公式チュートリアルでPersistentVolumeを使ったWordPressのデプロイをやっていたところ kubernetes.io いつまで経ってもPVCがPendingのまま。。。 kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE wp-pv-claim Pending standard 15s 詳細を見てみると「storageclass.storage.k8s.io "standard" not found」とエラーになる。。 kubectl describe pvc wp-pv-claim Name: wp-pv-claim Namespace: test StorageClass: standard Status: Pend
【連載】Kubernates入門・GKEデプロイと発展的利用 第６回 ~ Google Kubernetes Engineのセットアップとクラスタ作成 ~ - 開発日報
はじめに この連載ではコンテナオーケストレーションツールである、 Kubernatesの使い方を学びます。 今回はGoogle Kubernetes Engineのセットアップを行います。 サンプルコード こちらに順次アップしていきますー。 連載記事一覧 連載記事一覧 Google Cloud SDKのセットアップ SDKのインストール $ brew cask install google-cloud-sdk コンポーネントのバージョンアップ $ gcloud components update gcloudの認証を行います $ gcloud auth login gcloudで操作する対象のプロジェクトIDを設定します。 $ gcloud config set project kube-test-XXXXX デフォルトリージョンを設定します。asia-northeast1-aはGCPの東
【連載】Kubernates入門・GKEデプロイと発展的利用。第１回 ~ Kubernates概説と環境構築 ~ - 開発日報
はじめに この連載ではコンテナオーケストレーションツールである。Kubernatesの使い方を学びます。 環境構築・概念説明・GKEデプロイ・その他応用などについて連載方式で書いていきます。 (筆者はamazon ecsに甘えきっているのですが、そろそろやらねばと思いましてね。。) サンプルコード こちらに順次アップしていきますー。 連載記事一覧 連載記事一覧 Kubernatesとは Kubernetesは、コンテナの運用を自動化するためのコンテナオーケストレーションシステムです。 コンテナオーケストレーションを実現・管理するための統合的なシステムであり、APIやCLIツールも併せて提供します。 複数のサーバーにまたがってコンテナ管理できます。 コンテナを用いたアプリケーションのデプロイの他にも、様々な運用管理の自動化を実現します。 Dockerホスト管理、サーバリソースを考慮したコンテ
Contrail CNIとKubernates連携を触ってみる方法:Juniper vLabs - Qiita
概要 Kubernetes(以下k8s)のCNI(Container Network Interface)としてTungsten Fabric(OSS)/Contrail(Juniper社)というものがある。 前回、AWS上でTungesten FabricとKubernetesを簡単に触る方法を記載したが、Juniper社がvLABsという無償リモートラボでContrailとk8sを触る環境が用意されているため、そちらを使って、PODを作成してSerivice Load Balancerを利用して外部公開する、基本的なオペレーションを行なう方法を記載する。 1.Juniper vLabsアクセス方法とシナリオ概要 2.初期状態確認 3.サンプルシナリオ – アプリケーションデプロイとLoadBalancer外部接続 3-1.POD作成 3-2.Service type LoadBalan
結論 結論から書くと「ヌメロニム」という、長い英単語を数字で省略して表現を使ってるからだそうです。 https://ja.wikipedia.org/wiki/%E3%83%8C%E3%83%A1%E3%83%AD%E3%83%8B%E3%83%A0 kとsの間に8文字入っているから、k8s。。。 変数で付けられたら発狂しそうですね。 代表的なヌメロニム a11y - Accessibility（利用しやすさ） d11n - Documentation（文書化） G11n - Globalisation / Globalization（世界化） i18n - Internationalisation / Internationalization（国際化） i14y - Interoperability（相互運用性） L10n - Localisation / Localization（地域
【連載】Kubernates入門・GKEデプロイと発展的利用 第３回 ~ ReplicaSetとDeployment ~ - 開発日報
はじめに この連載ではコンテナオーケストレーションツールである、 Kubernatesの使い方を学びます。 今回はReplicasetとDeploymentについて学習します。 サンプルコード こちらに順次アップしていきますー。 連載記事一覧 連載記事一覧 ReplicaSet ReplicaSetは同じPodを複数生成・管理するためのリソースです。一定以上の規模のアプリケーションの場合、同一のPodを複数並行して実行することで可用性を高める必要があります。 ReplicaSetを定義したマニフェストファイルsimple-replicaset.yamlを次のように作成します。 apiVersion: apps/v1 kind: ReplicaSet metadata: name: echo labels: app: echo spec: replicas: 3 selector: matc
Azure Kubernates ServiceへのdockerコンテイナーのデプロイメントをAzure DevOps Pipelineで自動化してみる。 - Qiita
Azure Kubernates ServiceへのdockerコンテイナーのデプロイメントをAzure DevOps Pipelineで自動化してみる。AzureDockerkubernetes はじめに AKSへのデプロイメントはそれぞれのリソース(AKS, ACR)を作ってしまえば、 kubectl コマンドを使い簡単に実行することができる。実際の開発において、わざわざコマンドを叩いてデプロイメントを実行するとなると、迅速な機能のリリースができなくなる。したがって、CI/CD pipelineを実装して、AKSへのデプロイを自動化するのが良い。今回の記事では、Azure Pipeline と Github を用いて、docker コンテイナーのAKSへのデプロイメントを自動化してみる。 Azure Kubernetes Service と Azure Container Regist
連載記事一覧 【連載】Kubernates入門・GKEデプロイと発展的利用 第１回 ~ Kubernates概説と環境構築 ~ 【連載】Kubernates入門・GKEデプロイと発展的利用 第２回 ~ KubernatesクラスタとPod ~ 【連載】Kubernates入門・GKEデプロイと発展的利用 第３回 ~ ReplicaSetとDeployment ~ 【連載】Kubernates入門・GKEデプロイと発展的利用 第４回 ~ Serviceの概念と詳細 ~ 【連載】Kubernates入門・GKEデプロイと発展的利用 第５回 ~ Ingressによるルーティング ~ 【連載】Kubernates入門・GKEデプロイと発展的利用 第６回 ~ Google Kubernetes Engineのセットアップとクラスタ作成 ~ 【連載】Kubernates入門・GKEデプロイと発展的利用
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今更ながらおうちKubernatesクラスター作ってみた - unless’s blog
MinikubeでKubernatesのローカル環境を構築する
なんでkubernatesがk8sと略されるのか気になったので調べた - Qiita
【連載記事一覧】Kubernates入門・GKEデプロイと発展的利用 - 開発日報