書評「Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える」は Kubernetes を中心に AWS も学ぶことができる良書 | DevelopersIO
書評「Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える」は Kubernetes を中心に AWS も学ぶことができる良書 そろそろ Kubernetes 入門しようかな。インフラは AWS がいいな。 そんなあなたに Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える ということで本日は 2020/03/25 に出版されたKubernetes on AWS ~アプリケーションエンジニア 本番環境へ備えるを紹介したいと思います。 こんな方にお勧め コンテナベースの開発プロセスや Kubernetes の基本的な使い方を理解したいアプリケーションエンジニアの方 Kubernetes は避けては通れないと思っている AWS エンジニア（インフラエンジニア）の方 Kubernetes を本番運用するにあたり何をすべきなのか知りたい
Self-hosted GitHub Actions runners in AWS CodeBuild を試す
CodeBuild プロジェクトを使用して Webhook を設定し、GitHub ACtions ワークフローの yaml を更新して CodeBuild マシン上でホストされているセルフホストランナーを使用できる GitHub への認証は PAT か OAuth App を使う まとめというかわかったこと ※間違ってることや、こうすればいいよなどがあったらコメントください。 良かった点 セットアップは楽 ephemeral である 起動時間は EC2、Lambda 共に 1 分程度だった 個人的には十分速い マネージドイメージに加えて Docker カスタムイメージを指定可能 jobs.<job_id>.runs-on に -<image>-<image-version>-<instance-size> を追記すると、設定不要で様々なアーキテクチャのイメージを使える jobs.<job
ローカルでk8sを試してみたいときはk3dが使えそう。Istioも動きそう。 - Mitsuyuki.Shiiba
## ローカルでk8s ちょっと試してみたいときとかに、ローカルでk8sを動かしたくて。以前だとMinikubeとかDockerについてくるk8sとかを使ったことがあるけど、今だとまた何か出てるかな？と思ってたらこういうスレッドを見つけた。 K3s, minikube or microk8s? : kubernetes Minikube Microk8s K3s Kind Desktop Docker K3d Kubeadm が紹介されてた。へー。と思って、なんとなくk3dが面白そうかなと思ったので試してみた。 ## k3d https://github.com/rancher/k3d 紹介されている一覧の中にあるk3sをDockerで動かしてくれるのがk3dということみたい。Dockerを動かすプラットフォームをDockerの中で動か・・・す？こんがらがる。 僕はUbuntu使ってるんだ
EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub
はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳
Amazon Web Services ブログ 詳解: Amazon ECS による CPU とメモリのリソース管理 この記事は How Amazon ECS manages CPU and memory resources (記事公開日: 2019 年 10 月 21 日) を翻訳したものです。 2019 年 8 月 19 日に、コンテナ単位で Linux 上で使用可能なスワップ領域の設定をサポートする Amazon Elastic Container Service (Amazon ECS) の新機能を発表しました。この機会を利用して、ECS のリソース管理がどのように機能するかについて (この新機能によって導入された動作も含めて) 、一歩下がってより全体的な説明をしたいと思います。具体的には、ECS によってさまざまな起動タイプ (すなわち、Amazon EC2 と AWS Farg
Kubernetes で cgroup がどう利用されているか - VA Linux エンジニアブログ
はじめに 利用した環境 cgroup の階層構造 例：CPU やメモリの制限 例：PID 数の制限 例：CPU コアの排他的割り当て まとめ 執筆者 : 山下雅喜 はじめに cgroup とは、Linux カーネルの機能の1つであり、プロセスやスレッドが利用するリソースの制限や分離を行うための機能です。 cgroup は名前空間の機能と共に、Linux コンテナの根幹を成す技術の1つでもあります。 Kubernetes において、名前空間は PID 名前空間、ネットワーク名前空間、マウント名前空間などで利用者の目に触れやすい存在ではありますが、cgroup は相対的に目に付きにくいもののように感じています。 そこで今回は、Kubernetes のいくつかの機能を例に挙げ、cgroup がどう利用されているか見ていきます。 利用した環境 利用したソフトウェアおよびバージョンは次の通りです。
ZOZOテクノロジーズSRE部の市橋です。普段は主にAWSを用いて複数プロダクトのシステム構築、運用に携わっています。今回は2020年2月にリリースされたZOZOMATについて、システム構成と開発時に直面した課題、その課題を解決するために工夫した点について紹介します。 ZOZOMATではEKSやgRPCを新規に採用しており、これによって仕様の変更に強くなる、通信のオーバーヘッドを削減できるなど様々なメリットを享受できました。しかし導入時に一筋縄ではいかないことがあったため、今回苦戦した点についてご紹介できればと思います。 ZOZOMATとは お客様の足を3Dで計測するために開発された計測用マットです。ZOZOMATでの計測情報をもとに、靴の推奨サイズを参照するなどのサービスをご利用いただくことが可能です。ご興味のある方はこちらをご確認ください。 ZOZOMATのシステム構成 システムの全体
マルチコンテナ環境を構成するためのオープン仕様「Compose Specification」登場。Docker、AWS、マイクロソフトらが協力して仕様拡張へ
マルチコンテナ環境を構成するためのオープン仕様「Compose Specification」登場。Docker、AWS、マイクロソフトらが協力して仕様拡張へ Docker社は、同社がDocker Composeとして提供してきた複数のDockerコンテナをまとめて構成する機能の仕様を「Compose Specification」としてオープンな仕様とし、Amazon Web Services（AWS）やマイクロソフトらと協力して拡張していくことを発表しました。 Docker Composeは、2014年にDocker社が買収したOrchard社のマルチコンテナ構成ツール「Fig」を、Docker社が同社のブランドとして製品化し、コンテナオーケストレーションツールのDocker Swarmと同時に2015年2月に公開したソフトウェアです。 Docker Composeを用いると、複数のDoc
Docker公式ブログに書かれた「開発者が知っておくべき Docker、Docker Engine、Kubernetes v1.20」について ‣ Pocketstudio.Net
Docker 公式ブログに「What developers need to know about Docker, Docker Engine, and Kubernetes v1.20 という投稿があり、何が書かれているのか要点を日本語でまとめました。 書かれているポイントは「Kubernetes で Docker が非推奨ではなく、これまで通り使い続けられる」であり「Docker イメージの話と、ランタイムの話は別」との内容です。 今回のDockerのブログ投稿を捕捉しますと、Kubernetes における docker-shim の話と、 Docker イメージの扱いは別だ、という内容でもあります。つまり、前提として「Docker Engineとcontainerd、Dockerコンテナとイメージの話」も分けて考えたり議論する必要があります。 Docker エンジンを構成する要素の1つ
攻撃しながら考えるKubernetesセキュリティ / Considering Kubernetes Security While Attacking 2
WASNight 2021 Kick-off OWASP Session
Testcontainersを用いてテスト実行前の docker compose up を無くし、Goで並列テストする | フューチャー技術ブログ
春の入門祭り2024の1記事目です。 はじめにTIG真野です。 Testcontainers を用いて、単体テスト実行前に docker compose up -d 無しで、PostgreSQLにアクセスする単体テストを行う、入門記事です。 恩恵は次のような開発者体感の向上が個人的にあります。 テストを実行するうえで、別プロセスのサービスを起動しておく必要があるといった前提条件を考えなくても済むため、テストを行うビジネスロジックに集中できるdocker compose up -d 打たないだけだが、テストに必要なコンテナを考慮しなくても済む停止し忘れて、別のリポジトリの開発するときに混乱しなくても済む並列テストしやすくなるので、テストの実行速度が向上するGoにおいて、複数のパッケージを同時にテストするとき、 -p 1 で絞らずに済むTestcontainers とはhttps://test
ソニーにおける App Runner 導入事例と生の体験談の紹介 / Case study and real experience of using App Runner in Sony products
３年ほど前に登場した比較的新しいサービスであるApp Runnerを商用環境で導入した事例を紹介します。 インフラの運用の手間を軽量化できる一方で、利用して初めて気づく課題もありました。 本日は実際の導入事例に基づいて、ECS Fargateとの比較、CI/CD・監視の工夫から障害発生時の運用方法といった生の体験を紹介することで、これから導入を考えている方へ向けて、技術選定のポイントとなる"肌感"を共有できればと思います。 登壇アーカイブ：https://www.youtube.com/watch?v=YiE3n06tfCA
汎用プログラミング言語でKubernetesのYAMLを生成するcdk8sが発表されました！ | DevelopersIO
「TypeScriptでKubernetesのYAMLを生成できるよ！そうcdk8sならね」 というわけで、先日AWSより突然、cdk8sなるものが発表されました。 Introducing the CDK for Kubernetes, a New Software Development Framework and Open Source Project for Defining Kubernetes Applications Using Code 正直最初これを見たときの第一印象は「なんて安易なネーミングなんや…」でしたが、見れば見るほど、KubernetesのYAMLをそのまま管理する辛さに対しての別次元のアプローチとして、すごい斬新で期待感が持てたので、意気揚々とブログを書いております。この記事では、cdk8sの特徴とそれが解決してくれること、および関連リソースをまとめてます。ぜひ
新卒研修でDevOpsの歴史を語った件
こんにちは、GMOアドマーケティングのmizkichです。 アドテクなマイクロサービスをGCPのKubernetesで運用しています。 GMOではグループ全社の新卒エンジニアに向けて、技術力向上・適性判断を目的とした研修プログラム「GMOテクノロジーブートキャンプ」を毎年実施しています。 今年度は非常勤講師として「DevOpsで必要とされるエンジニアスキルの変化」というタイトルで登壇させて頂きました。 「DevOpsと継続的デリバリーの関係性」や「技術の進化によりエンジニアの担当領域の変化」などを踏まえ、DevOps時代のエンジニアの技術スタックの広さを解説しています。 この記事では、この講義を作る事になった顛末や発表資料の共有などをしたいと思います。 ・GMOテクノロジーブートキャンプとは 社内では略してGTBと呼んでいます。 GTBの内容を端的に言うと、一ヶ月の集中講義で新卒に成果物を
Service Meshの背景やトレンド、また今後の展望としてeBPF連携の動向を紹介します。
Javaアドベントカレンダーにエントリーした記事になります。 Javaのイメージを作る上で、どのDockerイメージをベースに選べばいいのか、というのを軽く調べ始めたら、選択肢がたくさんでてきたので、ちょっと突っ込んで調べてみました。 以前、仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で書いたOS名とかは今回は紹介しませんので、busterとかalpineとかwindowsservercoreってなによ？というお話はそちらの記事を参照してください。一点アップデートがあるのは、Debian 11がリリースされて、イメージとしてbullseyeというのが追加された点ですね。あとはfocal=Ubuntu 20.04LTSというのを覚えてもらえれば。 JDK周りのニュースOracle JDKが無償配布をやめて、無償利用としてはOpenJDKを、
はじめまして。Gaudiyでエンジニアをしているあんどう（@Andoobomber）です。 クラウドネイティブ全盛の世の波に乗り、この度 Gaudiy では Cloud Run から Google Kubernetes Engine (GKE) への移行を行いました。 この記事では、その移行プロセスの全体像を共有し、得られた教訓と今後の展望を探ってみたいと思います。 1. Before After: 移行の概観 1-1. Before 1-2. After 2. なぜGKE環境に移行したのか 3. 移行のプロセス 3-1. Kubernetesを学ぶ (1週間: 2023/10/01~) 3-2. Dev on GKE環境作成 (2-3週間) 3-3. Staging on GKE環境作成 (2日) 3-4. Private Clusterへの移行 (1-2週間) 3-5. Prod on
2020年12月5日紙版発売 2020年12月5日電子版発売 徳永航平 著 A5判／148ページ 定価2,508円（本体2,280円＋税10%） ISBN 978-4-297-11837-2 ただいま弊社在庫はございません。 →本書の新版が発行されています。 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 Dockerとkubernetesは，Webだけでなくさまざまなシステムで利用されています。仮想化とは違うので，エンジニアの皆さんもそのメリットをどう活かしていくのか悩ましいところです。本書は，Dockerとkubernetesのしくみを大胆にイラスト化しました。視覚的に理解することができるので，その技術の本質を理解しやすくなります。各所でコマンド入力を利用して。Dockerとkubernetesの動作もしっかりわかるようになります。 こんな方におすすめ D
DockerのデフォルトランタイムをrunCからKata containers + Firecrackerに変えるのが簡単すぎてビビった話 - inductor's blog
はじめに これはコンテナランタイム好きのオタク記事です。DockerでrunC以外のランタイムを動かしてみようと思ってはいたもののずっとやれてなかったので、実際にやってみたら超簡単でした、という記事です。 ランタイムを変える意味について Dockerでは、コンテナを作成する機能をrunCという低レベルコンテナランタイムを用いて実現しています。 runCではLinuxカーネルの機能を呼び出すためにホストOSの特権を利用しますが、これはrunCの命令を実行する瞬間に悪意のあるコードを実行されると、ホストの特権を攻撃者に奪われてしまうリスクもあります。詳しくはrunCのこのへんとかを読んでみるとおもしろいかもしれません(?) ところで、runCというランタイムはOCIの標準仕様に基づいて作られています(厳密には、LXCを置き換えるために作られたrunCが持っている機能を標準化したものがOCIとい
「はてラボ」のサービスも利用しているEKSクラスタの構成と運用について - Hatena Developer Blog
プラットフォームチームでSREをしている id:masayosu です。 プラットフォームチームでは、はてなのサービスの基盤となるサービスを開発・運用しています。 さらに、はてラボ（はてなアンテナ、はてな匿名ダイアリーなど）も担当しています。 これらはAmazon EKS（Elastic Kubernetes Service）というマネージドコンテナサービス上で、マルチテナントなクラスタとして運用されています。 EKSは2年前から運用を始め、現在は30近いサービスがクラスタ上で動作しています。 この記事ではEKS周辺の構成と、EKSを維持する運用について紹介します。 EKSクラスタの全体構成 EKS全体の構成は、以下の図のようになっています。 図の登場人物について簡単に説明します。 AWS EKS AWSのAmazon EKSは、マネージドなKubernetesサービスです。 Kubern
songmu on Twitter: "Dockerやコンテナを理解したいのであれば「なるほどUnixプロセス」を読むと良いのではないか"
Dockerやコンテナを理解したいのであれば「なるほどUnixプロセス」を読むと良いのではないか
Kubernetes in Docker で始めるお手軽 Kubernetes 環境 / cloudnativejp_09_kubernetes_in_docker_kind
Kubernetes の環境の選択でお困りですか？Docker for Mac、Minikube など色々な Kubernetes 環境がありますが、Kubernetes in Docker では 1 台のマシン上に複数台のからなるマルチノード Kubernetes クラスタを構築することが可能です。このセッションではkind でできることについてご紹介します。
Happy New Year! 年末、年始があっという間に終わり、明日は成人の日。 来週からコーディングのオンラインクラスを受けることになった。4−6ヶ月になりそうであるが、無事乗り切れるのか、少々不安も。javascriptを習得するコースなため、最終的にnode.jsのサーバーサイドでのコーディングもできるようになるまでの知識を得られるよう頑張ろう。node.jsの環境構築に不可欠ともいえるdocker。 今回は、10 best practices to containerize Node.js web applications with Docker の翻訳記事のご紹介です。 今回は、特に翻訳に苦労しました。読みにくい部分もあると思いますが、どうぞ最後までお付き合いください。 Dockerでnode.jsウェブアプリケーションをコンテナ化するための10のベストプラクティス Liran
GoのWebプロダクトに途中参加するときのキャッチアップ #layerxgo / How to catch up Go web product
4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 | Money Forward Kessai TECH BLOG
4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 きづけば2021年ですね。12月末に書いたこの記事は年末休暇の関係で、公開がこのタイミングになりました。あけましておめでとうございます。 今回は、マネーフォワードケッサイが利用しているGCP/GKEのIngreeまわりを振り返ってみたいとおもいます。 創業初期 2017年3月時点ではGCPには証明書を自動的に作成する仕組みがなかった事もありますが、まだまだ証明証は信用の為にEVを買うという考えが強かったので、EV証明書とワイルドカード証明書を購入してIngressに設定してました。 証明書の自動作成と更新できるように ユーザが利用するドメインのみ購入した証明書を使い、社内利用のドメインは、cert-managerを利用して作成したLet’s Encriptの証
Windowsコンテナ入門
Microsoft Build 2023 で発表された Cosmos DB の注目アップデート / Microsoft Build 2023 Cosmos DB update
GitHub - sickcodes/Docker-OSX: Run macOS VM in a Docker! Run near native OSX-KVM in Docker! X11 Forwarding! CI/CD for OS X Security Research! Docker mac Containers.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
Kubernetes環境に特化したCI/CDツール「Jenkins X」を試してみる | さくらのナレッジ
広く使われている継続的インテグレーション（CI）/継続的デリバリ（CD）ツールの1つに「Jenkins」がある。このJenkinsの開発チームが、Kubernetesに特化したCI/CDツール「Jenkins X」を発表した。今回はこのJenkins Xの特徴やインストール、基本的な使い方を紹介する。 昨今ではソフトウェア開発を迅速に進めるために「継続的インテグレーション（CI）」と呼ばれる手法が広く採用されている。CIはバージョン管理システムなどと組み合わせて使われるのが一般的で、たとえばバージョン管理システムへのコミットをトリガーとして自動的にビルドやテスト、パッケージ作成を実行する仕組みなどを構築できる。また、最近では「継続的デリバリ（CD）」という手法も使われる。CDはCIと似ているが、運用環境へのデプロイまでも自動で行うという仕組みだ。 CIツールとして著名なものの1つに、以前紹
scaffoldy – よくあるwebサービス構成の Docker Compose ファイルを作ってくれるジェネレータ
Scaffoldy は、選択したサービスを組み合わせた webサービスの Docker Compose 設定ファイルを作ってくれるwebサービスです。 対話式のフォームに回答していくだけで、docker compose で動作する yml ファイルが作られます。現在選べるのは以下のような項目 言語/環境 – Python / Node.js / その他 .gitignore 等 git の設定 データベース – MySQL / MariaDB / PostgreSQL / MongoDB データベース管理web UI – phpMyAdmin / pgAdmin / Mongo Express キャッシュサーバ – Memcached / Redis メッセージング – RabbitMQ / NATS メトリクス – Prometheus / Grafana その他 – Clickhous
以降、それぞれの検知方法を紹介していきます。 検知方法①：サービスのランニングタスク数をメトリクスから検知 一番代表的な方法です。ECSコンテナエージェントは、タスク内のコンテナの状態をモニタリングしています。構成①と②においては、essential=trueのコンテナのみ含まれているので、コンテナの停止は即ECSタスクの停止となります。 あとは、ECSサービスにおけるDesiredTask Count（期待するタスク数）をしきい値としたランニングタスク数のCloudWatchメトリクスを用意しておき、しきい値を下回った時=タスクが異常終了したときにアラームを発火します。 一点、CloudWatch Alarmはある一定期間のメトリクスの状態からアラームを検知するものなので、検知までいくらかのタイムラグが有ることは注意しておきましょう。 基本的にECSのサービス運用においては、そのDesi
この記事は GMOアドマーケティングAdvent Calendar 2021 25日目の記事です。 はじめに こんにちは、GMOアドマーケティングの星野です。 今年のアドベントカレンダーも本日で最後となりました。 アドベントカレンダーを書いていると今年も終わりということを感じます。 GMOアドマーケティングではいくつかのプロダクトをGCPへと移行をしています。 移行では障害を起こさないことが優先されますが、最終的には単に移行するだけではなく、システムをクラウドネイティブな設計に変えていくことで、クラウドの恩恵を最大限に受けれるように改善していきたいと思ってます。 既存のシステムをクラウドネイティブな設計に変えていくにはコンテナ化が必要になります。 コンテナ化を行う際の設計指針の一つにコンテナ・デザインパターンというものがあります。 今回は、書籍の分散システムデザインパターン からいくつかの
こんにちは、DevBrandingのellyです。5月20日に配信した「AWSコスト倍になっちゃった！〜削減への道のり〜」の様子をご紹介します。 今回はITストラテジーチームとSREチームから2人のゲストを招いて、freeeで実際に起きたAWSコスト増加の事例をもとに、気がつけば増えるインフラ費用の無駄をどのように見つけ、コスト削減していったのか、実話のストーリーを話してもらいました。 登壇者集合写真 miry:写真左上。2015年入社。ITストラテジー。全社のITツールのコスト管理やIT戦略の策定を担当。 nakagawa:写真右上。2020年5月入社。SREチームエンジニア。基盤の更改やクラスタ管理効率化を担当。 のぶじゃす (@noblejasper): 写真右下。ラジオパーソナリティ、2017年に中途入社。mixi、ソーシャルゲーム企業でソフトウェアエンジニアを経験し freee
参考 おさらい runc architecture file main.go and command process runc create setupSpec startContainer linuxContainer LinuxFactory createContainer CreateLibcontainerConfig loadFactory factory.Create runner.run newProcess linuxContainer.Start newParentProcess parentProcess.start() runc init nsenter nsexec runc init(After nsexec) linuxStandardInit.Init runc start 低レベルコンテナランタイムruncの内部処理のまとめです。 参考 2021/05現在:
Oracle Cloudの無料枠だけでKubernetes(k3s)クラスタを構築する - blog.potproject.net
Oracle Cloudの無料枠だけでKubernetes(k3s)クラスタを構築する(したい) タダでkubenatesを運用してみたいんじゃオラ という気持ちの元に、ギリギリ無料でkubenatesを運用できそうな物が出てきたので、構想を現実にするという記事です。 Oracle Cloud Infastructure と Kubernetes Kubernetes、Docker(厳密には違うけど)のオーケストレーションツールとして、事実上の標準として居座っているオープンソースソフトウェア。 コンテナの運用技術としてこれから試してみたい人も結構多いと思いますが、やるのであれば実際にクラスタ組んでサービスをデプロイしてインターネットからアクセスできる、そんなレベルまでやってみたいものです。 やるとすれば、実際Kubernetesを採用しているクラウドサービスは多く、GCPはマネージドKub
私は、OpenJDKのCommitter業や仕事でミドルウェアのSolution Architectとして活動している関係上、最近はコンテナ上でJavaアプリケーションを動かすことが非常に多いです。 KubernetesでJavaアプリを監視する場合には、Elasticsearch+KibanaやPrometheus+GrafanaなどでログやMBeanを監視する方法が一般的に行われています。 Java 11では有償JDKに含まれていた機能がOpenJDKへ寄贈され、JDK Flight Recorder (JFR)として生まれ変わりました。JFRはJVMの内部の情報やその上で動くJavaアプリケーションの様々な情報をほとんど負荷無く記録し、ファイルとして取得できます。このファイルをJDK Mission Controlなどのツールを使って確認し、これまでより詳細に分析できます。 これまで
Cloud RunがGitと連携して勝手にデプロイできるようになったのでやってみた - inductor's blog
はじめに こんにちは。inductorです。 GCPのCloud Runはご存知でしょうか。世界一簡単に単一のコンテナをデプロイできるサービスだと私は考えています。 さて、以下のようなリリースノートの通知があって、Cloud RunがGitと連携して更新まで自動でできるようになったみたいです。 Continuous deployment from Git using Cloud Build まとめるとこんな感じのことが書いてあります Cloud Buildのトリガーを使用して新しいコミットがGitリポジトリの特定のブランチにプッシュされるたびにコードを自動的にビルドしてデプロイすることで、ビルドとCloud Runへのデプロイを自動化できます。 Cloud Buildトリガーを使用してコンテナをビルドすると、Cloud Runにデプロイした後、ソースリポジトリ情報がサービスのCloud C
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
Kubernetesにおけるコンテナ起動時間高速化に向けた検討 - Preferred Networks Research & Development
本投稿はPFN2022 夏季国内インターンシップに参加された江平智之さんによる寄稿です。 はじめに PFN2022 夏季国内インターンシップに参加していた江平智之です。現在修士１年で、大学では分散システムやクラウド技術について研究しています。 今回のインターンシップでは、「JP04. Kubernetesにおけるコンテナ実行環境の改善」というテーマでコンテナ起動時間の高速化に取り組みました。 背景 PFNでは機械学習基盤としてKubernetesクラスタを使用しており、リサーチャやエンジニアはKubernetesクラスタ上のPod内で機械学習やシミュレーションなどの計算を行っています。スケジューラによってノードにアサインされた後にPod内にコンテナが起動されますが、ノード上にコンテナイメージのキャッシュがない場合にコンテナ起動が遅いという問題がありました。計算はPFNの研究開発における主要
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
詳解: Amazon ECS による CPU とメモリのリソース管理 | Amazon Web Services
ZOZOMATにおけるEKSやgRPCを用いたシステム構成と課題解決 - ZOZO TECH BLOG
Service Mesh in 2022
JavaのDockerイメージ何選ぶ？ | フューチャー技術ブログ
Kubernetes初学者が担当したGKE移行プロセスの全貌 - Gaudiy Tech Blog
イラストでわかる DockerとKubernetes
Dockerで安全にnode.jsウェブアプリをコンテナ化する - Qiita
Kubernetes (EKS) で構築する
スケーラブルなジョブ実行基盤
【Ubuntu日和】 【第48回】脱ESXi？UbuntuとCockpitで仮想化プラットフォームを構築しよう
Kuebernetesクラスタのマルチテナンシーベストプラクティス
ECSタスクのコンテナ異常終了を検知する3つの方法 | DevelopersIO
クラウドネイティブな設計の1歩目〜コンテナ・デザインパターン〜
AWSコスト倍になっちゃった！〜削減への道のり〜 - freee Developers Hub
Low-level Container Runtime:Runc Internals - 鳩小屋
コンテナ時代における最新のJava&JVM監視 - #chiroito ’s blog
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし