クラウド上でデータベースのサービスやRubyやJavaといった言語の実行系を提供する、いわゆるPaaS型クラウド基盤のソフトウェアとして知られている主なものに、「Cloud Foundry」と「OpenShift」の2つがあります。 いずれもオープンソースですが、Cloud FoundryがすでにIBMのBluemixやHPのHelion、NTTコミュニケーションズのCloudnなどに採用されている一方で、Red Hatが中心となって開発されているOpenShiftはまだ大きな採用事例もなく、比較的目立たない存在でした。 そのOpenShiftが、今年登場するOpenShift V3でDockerとKubernetesを核としたPaaSへと大きくアーキテクチャを転換します。1月28日に開催された「第24回 PaaS勉強会」で、Red HatのChris Morgan氏がその内容を解説しまし
End-to-End Encryption for Streaming Data Pipelines @ Berlin Buzzwords 2024
たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込めるようにする スケーラビリティの確保 DataRobotについて スコアリングコード機能 実装上のポイント 工夫点 はまったポイント 所感 あとがき TL;DR 機械学習基盤をKubernates上で構成することで、機械学習にかかわる一連の処理の再現性を担保できるようになった。 AutoML製品（DataRobot)の機能をKubernates（以下k8s)上で実行させることで、バッチ予測を並行実行し、大幅に高速化することができた。 データサイエンティストが自分自身で容易に機械学習パイプラインの定義・デプロイができるようになった。 自己
Kubernates (k8s) を試したり、複数の物理ホストを使ってクラスタを組みたくなったのですが、何度も作っては壊しをしたいため Vagrantfile を作成してみました。これを使えば複数の物理サーバ上でも簡単に k8s クラスタを構築できます。 今回は以下のように物理ホストが 2 台あって、それぞれでWorker を動かし、片方で master を動かす構成で紹介します。 私の使用している環境では、最低限必要な、master と 1 つの worker の構築は 8分8秒 で完了し、追加となる 2つ目の worker の構築は 3分16秒で完了しました。workerの作成は各 host でパラレルに実行しても大丈夫です。 ※構築時間はhostのマシン性能、ネットワーク転送の性能、プライベートリポジトリの存在など環境に大きく依存します。 クラスタの構築には Vagrant を使用し
「15 Stepで習得 Dockerから入るKubernates」を読んでEC2で演ってみた：（２）各演習（Step）でのメモ - なからなLife
この本、 15Stepで習得 Dockerから入るKubernetes コンテナ開発からK8s本番運用まで (StepUp!選書) 作者:高良 真穂発売日: 2019/09/27メディア: 単行本（ソフトカバー）半分くらいまでは、DockerとKubernetesについての解説で、後半が15 Stepの演習になってます。 このエントリは、その15 Stepの各ステップで、前回のエントリで作ったEC2環境でどう扱うかに絞ったメモです。 あくまで、この本が手元にある状況での補足説明です。手元にないと、さっぱりわからないと思います。 Step 01 コンテナ最初の一歩 ここはKubernetesクラスター自体は不要で、Dockerのノード１つとレジストリがあればOKです。 なので、シングルで動かすならMasterとして立てたインスタンス１つだけ、あえて環境分離をするならば、master＋Work
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DockerとKubernatesを核にしたPaaS基盤へと変わるOpenShift V3
Laravelのデプロイ戦略。VPSからDocker、Kubernates、サーバレスまで
8 分で Kubernates クラスタを構築する - #chiroito ’s blog