Training ImageNet on a TPU in 12.5 hours with GKE and RiseMLGoogle’s Tensor Processing Unit (TPU), a custom-developed accelerator for deep learning, offers a fast and cost-efficient alternative to training deep learning models in the cloud: it is capable of training a ResNet-50 model on ImageNet in 12.5 hours — for an equivalent of ~$81 of TPU compute time. At RiseML, we believe that machine learn
GKE Gateway コントローラによる Kubernetes ネットワーキングの進化 | Google Cloud 公式ブログ
$ kubectl get gatewayclasses NAME CONTROLLER gke-l7-gxlb networking.gke.io/gateway gke-l7-rilb networking.gke.io/gateway これらの GatewayClass は、リージョン内部（gke-l7-rilb）とグローバル外部（gke-l7-gxlb）の HTTP(S) ロードバランサに対応しています。これらのロードバランサは、コンテナ ネイティブの負荷分散を提供するよう Gateway コントローラによって調整されます。 ロール指向の設計Gateway API はマルチテナント向けに設計されています。Gateway API では、次の 2 つの主要リソースが使用されるため、プラットフォーム オーナーとサービス オーナーとの間で問題を分離できます。 Gateway は、ルーティン
GKE best practices: Exposing GKE applications through Ingress and Services One critical part of designing enterprise applications running on Google Kubernetes Engine (GKE) is considering how your application will be consumed by its clients. This could be as simple as exposing your application outside the cluster, to be consumed by other internal clients, or might involve routing traffic to your ap
Terraform Registry
CoreOS（現状Container Linuxですけど、キャッチーじゃないのであえて）上でプライベートのDockerコンテナを動かしていたのですが、それをAmazon ECS上へ移行した話です。 従来の環境 従来は以下のような環境を使っていました。 さくらクラウドでCoreOSを起動（イメージがデフォルトで用意されていて嬉しい） コンテナは個人的なログ用influxDB、Grafana、個人slack用hubotの3つ。 オーケストレーションツールは使っていない（docker composeで管理、systemdで自動起動） それ以外に運用っぽいことも特にしてない。 プライベートかつ、とりあえずDocker触って動かしたいという理由だけで作った環境だったので、正直扱いは雑でして、たまにコンテナ落ちてて、hubotに呼びかけてから気付くみたいなこともままありました。 それが地味にストレスだ
GKEのNodeをCoreOSを使っていれば、CoreOS toolboxを使って1 回だけ必要なパッケージやツールを追加でインストールし実行することができます。 cloud.google.com このCoreOS toolboxを使ってstraceをワンタイムでインストールしてpodの状態を確認します。 straceで調べたいPodが動いているNodeを探す consoleからでもなんでもいいので調べます。 kubectl get pods -o wide のようにwideオプションつけると、Nodeも表示されます。 Nodeにsshで入る GCPのconsoleからgcloudのコマンドを表示して入ることが多いです。 Podのプロセスを探す ps auxwwf などでプロセスを出せば、Podで動いているプロセスも見れます。 ここでstraceを打ちたいPIDを控えておきます。 tool
News, updates, and best practices for running containers and Kubernetes on Google Cloud.
GitHub - GoogleCloudPlatform/distributed-load-testing-using-kubernetes: Distributed load testing using Kubernetes on Google Container Engine
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Autopilot overview | Google Kubernetes Engine (GKE) | Google Cloud
This page describes the Autopilot mode of operation in Google Kubernetes Engine (GKE) and provides you with resources that you can use to plan, set up, and manage your clusters. What is Autopilot? GKE Autopilot is a mode of operation in GKE in which Google manages your cluster configuration, including your nodes, scaling, security, and other preconfigured settings. Autopilot clusters are optimized
Open Source + Hosted Containers: A recipe for workload mobility
Product updates, customer stories, and tips and tricks on Google Cloud Platform
Cloud Build を使用した Cloud Run へのデプロイ | Cloud Build のドキュメント | Google Cloud
フィードバックを送信 Cloud Build を使用した Cloud Run へのデプロイ コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このページでは、Cloud Build を使用して Cloud Run サービスを自動的にデプロイする方法を説明します。Cloud Build を初めて使用する場合は、最初にクイックスタートとビルド構成の概要をご覧ください。 Cloud Run を使用すると、サーバーレス環境でステートレス コンテナを実行できます。Cloud Build を使用すると、Container Registry（非推奨） と Artifact Registry から Cloud Run にコンテナ イメージをデプロイできます。既存のイメージのデプロイ、イメージのビルドとデプロイ、デプロイの自動化が可能です。 始める前に Cloud Build
どうもMAD事業部の新井です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の14日目の記事です。 あまりいいネタも思いつかなかったので、前回作成したojichat-streamをGoogle Kubernetes Engine(GKE)にデプロイしてみようと思います。 正直GKEは触ったことないので、初歩的な内容になるかと思います。 概要 こちらのESPを使用したGKE用Endpointsのスタートガイドを参考に進めていきます。 GKE上のgRPCサーバーと通信するためにCloud EndpointsのESPv1を利用します。ESPv1はNginxベースのリバースプロキシとして動作し、サイドカーコンテナとしてアプリケーションと一緒にデプロイすることで、認証、モニタリング、ロギングなどのCloud Endpointsの機能が利用可能です
tl;dr GKE上で動作しているgolangアプリケーションでStackdriver Debuggerを使えるようにする 公式のDebugger Agentがgoバイナリで提供されているが動作環境が 64ビットDebian Linuxイメージ となっているため嵌りポイントがあって試行錯誤した (追記 2017/09/29) Go1.9を使うため、image tagをgo:wheezyからgo:debianに更新しました。 詳しくはGCCBでGo1.9を使うを参照のこと。 (追記 2018/03/26) Go用のエージェントがcd_go_agent.shからgo-cloud-debugに変わったので修正。 Stackdriver Debugger を導入すれば、アプリケーションを止めたり、顧客に影響を及ぼしたりせずに、コードの任意の行でアプリケーションの状態や変数、コール スタックを調べる
GKE で .NET Core アプリを実行してみた
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 15日目の記事です。 TL;DR.NET Core の特徴の一つはクロスプラットフォームであり、Windows 以外に Linux でも実行できるランタイムです。.NET Core のアプリケーションをコンテナ化し、Google Kubernetes Engine (GKE) を実行環境として選ぶと Google Cloud Platform (GCP)のサービスを利用できるメリットがありますので、簡単な Web アプリを GKE と GCP が提供している HTTP(S) Load Balancer の特徴を活かした設定を紹介します。 .NET Core の簡単なアプリケーションを作成しコンテナ化.NET Core は現時点で 3.1 になっており、3.0
Redmine を GKE(k8s) + CloudSQL + FileStore でデプロイ - Qiita
このページは 5/18（土） 14:00 - 18:00 開催予定のGCPUG Shimane #04 のハンズオンセッションの資料となります。 https://gcpug-shimane.connpass.com/event/128517/ 目的 今回のハンスおんはGKEにRedmineをデプロイする作業を通して、FileStore(nfs), CloudSQL(mysql)との連携を体験していただくことがメインとなります。 アジェンダ 資料の説明（ハンズオンの内容説明） GCPの構成の説明（コンテナ、kubernetesの説明） RedmineをGKEをベースに動かしてみる（ハンズオン） 事前準備 Cluster 作成 FileStore 作成 CloudSQL 作成 Redmine デプロイ 運用管理について 削除方法 構成の説明 RedmineをGKEをベースに動かしてみる（ハンズ
リージョン Persistent Disk ボリュームを作成して管理する | Compute Engine Documentation | Google Cloud
フィードバックを送信 リージョン Persistent Disk ボリュームを作成して管理する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 リージョン Persistent Disk は、Compute Engine に高可用性（HA）サービスを実装できるストレージ オプションです。リージョン Persistent Disk は、同じリージョン内の 2 つのゾーン間でデータを同期的に複製し、1 つのゾーンの障害に対してディスクデータの HA を確保します。リージョン Persistent Disk は、次のいずれかの方法で仮想マシン（VM）で使用できます。 リージョン Persistent Disk を使用して新しい VM を作成する リージョン Persistent Disk ボリュームを作成し、既存の VM にアタッチする このドキュメントでは、リ
GCPにあるプリエンプティブ インスタンスをGKEでうまいこと使えないか、試行錯誤した結果をまとめます。 プリエンプティブ インスタンスとは 一言で言ってしまえば、AWSにあるスポットインスタンスのGCP版です。 公式ドキュメントにはこのように書いてあります。 プリエンプティブ VM は、最長持続時間が 24 時間で、可用性が保証されない Google Compute Engine VM インスタンスです。プリエンプティブ VM は標準的な Compute Engine VM よりも低価格で、同じマシンタイプとオプションを使用できます。 ドキュメントに書かれているように低価格で使用できるのが最大のメリットです。 だいたい1/3ぐらいの価格で使用することができます。 しかし、様々な制限があります。 意識しておかなければならないこととして、次のようなことがあります。 いつ終了するかわからない
Create an internal load balancer | Google Kubernetes Engine (GKE) | Google Cloud
This page explains how to create an internal passthrough Network Load Balancer or internal load balancer on Google Kubernetes Engine (GKE). To create an external passthrough Network Load Balancer, learn how to Create a Service of type LoadBalancer. LoadBalancer Service. LoadBalancer Service parameters. Backend service-based external passthrough Network Load Balancer. Using internal passthrough Net
HashiCorp Vault on GKE @HashiCorp Meetup 10/23/2019
Profile Takaaki Komazaki @komattaka SRE Team at Merpay Agenda • • • • • • • • • Architecture Microservice Architecture Clients (API) Merpay API Gateway API service microservice A microservice B microservice C API service Mercari App Clients (Browser) CDN Microservice Architecture & Organization • Microservice architecture can be improved with the services and organizations that scale • Feat
Accelerate your app delivery with Kubernetes and Istio on GKE | Google Cloud Blog
Accelerate your app delivery with Kubernetes and Istio on GKE It’s no wonder so many organizations have moved all or part of their IT to the cloud; it offers a range of powerful benefits. However, making the jump is often easier said than done. Many organizations have a significant on-premises IT footprint, aren’t quite cloud-ready, and constrained by regulations or lack of consistent security and
GKE のクラスタを普通に作ると初期状態で起動する Pod がいくつかある。 それらをクラスタ作成時のオプションでどこまで減らせるかを確認する。 環境情報 Kubernetes 1.5.3 Google Cloud SDK 147.0.0 デフォルトのクラスタ 普通にクラスタを作って接続する。 $ gcloud container clusters create --machine-type=g1-small --num-nodes=1 normal-cluster Creating cluster normal-cluster...done. Created [https://container.googleapis.com/v1/projects/apstndb-sandbox/zones/asia-northeast1-a/clusters/normal-cluster]. kube
DevFest Tokyo 2017 でお話しした GKE クラスタを世界中に展開して管理するお話しです
hbseminar #1 Google Cloud Platformの基礎とGCP・GKEの事例紹介 https://heartbeats.connpass.com/event/61905/ こちらでお話しさせて頂いた際のスライドです
本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第2回では、Google Cloudが提供するフルマネージドなKubernetesプラットフォームであるGoogle Kubernetes Engineのアーキテクチャや特徴を紹介します。この記事を読むことでGoogle Kubernetes Engineのユースケースや利点について理解できます。 対象となる読者として、クラウドを利用したアプリケーションプラットフォームを開発/運用するエンジニア、またそのプラットフォーム上でアプリケーションを開発するエンジニアを想定しています。 Kubernetesとは KubernetesはOSSのコンテナオーケストレーションシステムです。 Google内部で利用
GKEのPodから異なるプロジェクトのIPアドレスへ接続できずハマった話 | フューチャー技術ブログ
はじめにこんにちは、TIG所属DXユニット 1の市川燿と申します。 現在は、プロジェクト内で利用しているGoogle Cloud Platform(以下GCP)の環境構築と、Go言語でバックエンドアプリの開発などをしています。 今回は、GCPのKubernetesサービスであるGoogle Kubernetes Engine(以下GKE)を利用している際にハマった事象について共有します。 本記事について(2019/09/02) GKEのクラスタがルートベースである旨を追記 (2019/09/02) Export設定について追記 GKEとは コンテナ化されたアプリケーションをデプロイするための、本番稼働に対応したマネージド型環境です。 https://cloud.google.com/kubernetes-engine/?hl=ja ハマった事象GKE内のPodから他のGCPプロジェクトのプ
Elasticsearch 7 クラスタを GKE で立ち上げる. Elasticsearch 7 クラスタを Containers on GCE… | by mocobeta | Medium
Elasticsearch 7 クラスタを Containers on GCE で立ち上げる: (Managed Instance Group 編)）の続きで，今回は GKE (Kubernetes) 上に同じ構成のクラスタを構築します GCE のシンプルさに比べると学習コストは高めですが，より柔軟な設計・運用ができるので，チームに詳しい人 がいれば（または Elasticsearch 管理者がいちから勉強する余力があれば）チャレンジしてみるのもいいと思います。 k8s や GKE そのものの説明は， 少しググれば良質なブログ記事も多数あるので割愛しますが，複雑なシステムなので初心者は書籍で体系的に学ぶのが近道です。私が参考にしたのは以下3冊です。アフィリエイトリンクではありません :) Docker/Kubernetes 実践コンテナ開発入門15Stepで習得 Dockerから入るKub
Googleは2018年7月24日～26日（米国時間）、サンフランシスコでGoogle Cloud Platform（GCP）のイベント「Google Cloud Next 2018」を開催している。1日目のキーノートでは、オンプレミス版のGoogle Kubernetes Engine（GKE）、サービスメッシュIstioのマネージドサービス「Cloud Services Platform」、カスタマイズできるAIサービスCloud AutoMLの新機能「AutoML Natural Language」「AutoML Translation」などが発表された。 エンジニア増員、セキュリティとAIに投資 1日目キーノートの冒頭に登壇したGoogle Cloud CEOのDiane Greene氏は、米小売りチェーンのTargetがGCPを採用した事例を紹介し、「Targetでは、インハウス
GKEクラスタ内部であってもイベントを直接転送できるEventarcの意外な落とし穴 - Assured Tech Blog
こんにちは。エンジニアの岩松です。たまにVisionalグループの軽音部でベースを弾いています。最近エフェクターを買ってみたのですが、欲しいものが次々と増えてきて困っています。 この記事はGCP(Google Cloud Platform) Advent Calendar 2023 15日目の記事となります。( Assured Tech Blog でアドベントカレンダーは初参加！ 🎉 ) TL;DR Eventarcを使えばイベントドリブンなリソース連携をマネージドかつ手軽に管理できる イベント転送先にはGKEクラスタ内部のエンドポイントも直接指定できるのでPub/Subや Cloud StorageのイベントをPush型で処理しやすくなる Terraform経由だとEventarcが作成ができず、関連リソースが🧟♂️になるバグと遭遇したが、サポートとやりとりを続けて解消できた やり
デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
「Google Kubernetes Engine」で小規模クラスタが簡単に実行可能に：オープンソースツールや新テンプレートを公開 - ＠IT
「Google Kubernetes Engine」で小規模クラスタが簡単に実行可能に：オープンソースツールや新テンプレートを公開 Googleは、「Google Kubernetes Engine」において最大4ノードの小規模クラスタを簡単に手ごろなコストで実行するための一連のツールとドキュメントなどをリリースした。 Googleは2018年10月4日（米国時間）、「Google Cloud」に含まれる「Google Kubernetes Engine（GKE）」において、最大4ノードの小規模クラスタを簡単に手ごろなコストで実行するための一連のツールとドキュメントなどをリリースした。 GKEは、Google Cloudのインフラを使用して、コンテナ化されたアプリケーションのデプロイや管理、スケーリングを行うマネージド環境を提供するサービス。オープンソースのコンテナオーケストレーションプラ
Terraform で GKE(GoogleContainerCluster) のコンテナクラスタを作成 - Qiita
前提 GoogleCloudPlatform のアカウントは取得済み Google Cloud SDK インストールおよび認証済み terraformはインストール済み（今回の環境では0.6.8） 事前作業 GoogleDevelopersConsole にて以下の作業を行っておく プロジェクトの作成 OAuth の同意設定 サービスアカウントキーの取得（JSON形式） 手順 tfファイルと同じ場所に事前に取得したサービスアカウントキーのJSONを置く ■tfファイルを作成 variable "project" {} variable "region" { default = "asia-east1" } variable "cluster_name" {} variable "zone" {} variable "network" {} variable "initial_node_co
GKEでIdentity-Aware Proxyを利用したWebアプリケーション認証 | フューチャー技術ブログ
初めに明けましておめでとうございます！Future筋肉エンジニアの渡邉です。年も明けたことなので切り替えて減量に入りました。三月末までを目安に体を絞ろうと思っています。 私は現在Google Cloudを利用しているプロジェクトに所属しており、Google Cloudのスキルアップにいそしんでいます。今回はGKE (Google Kubernetes Engine)でCloud IAP (Identity-Aware Proxy)を利用したWebアプリケーションのGoogleアカウント認証について記事を書こうと思います。 Identity-Aware Proxyとは以下、公式ドキュメント引用 IAP を使用すると、HTTPS によってアクセスされるアプリケーションの一元的な承認レイヤを確立できるため、ネットワーク レベルのファイアウォールに頼らずに、アプリケーション レベルのアクセス制御モ
Crudzoo
Welcome to my website!
この記事は基本的にGKEでの利用を想定して解説していますが、AWS等他のプロバイダでも大きくは変わりません。適時読み替えてもらえると。 クラスタオートスケーラーの課題点 kubernetesでNodeのオートスケールは、ざっくり説明すると以下のような流れになる訳ですが・・・ Podの負荷が上がり、HPAによって新しいPodがスケジューリングされる PodをスケジューリングさせるためのNodeが不足して、新しいNodeが立ち上がる 新しいNodeにPodが立ち上がる このスケーリングには少々問題がありまして、新しいNodeがすぐに有効活用されるかと言えば、そうでも無いんですよね・・・ 時間が経つに連れて新しいNodeにもPodが増えますし、負荷も分散されて行くでしょう。しかし、すでに負荷が上がりきっている既存Nodeに配置されているPodが再スケジューリングされる訳では無いので、急なスパイク
この記事は ただの集団 AdventCalendar PtW.2019 の5日目の記事です。 前回はhajimeniさんのプログラミングする上で避けるべき命名パターン - はじめに。でした。 TL;DR ElasticsearchをGKE上に構築する方法と、やってみて気づいた注意点を書きます。 また、cerebroでのノード監視と、ESのノード1台を落とした場合に新ノードが作成されること(Self-healing)も検証します。 前提知識 Elasticsearchを複数ノードで構築したことがある GKEのチュートリアルをこなし、Kubernetesでアプリをデプロイしたことがある kubectlがローカルで使える 全体構成 ES構築手順 クラスタの作成 デフォルトのn1-standard-1だとESのメモリ不足になるので、n1-standard-2に変更します。 $ gcloud con
本稿では、Cloud Endpointsとは何か、どんな場合に活用できるのか、それを使うとどんなメリットがあるのかについて解説します。また実際のソースコードを使って認証機能を持ったAPIを構築する例をご紹介します。本稿を読むことで、Cloud Endpointsを使ったAPI構築から活用までの流れを把握することができます。 本稿ではOpenAPIを使用したCloud Endpointsについての記事です。Cloud EndpointsはgRPCや AppEngine/Java, Pythonにも対応していますが、本稿ではそれらについては言及しません。予めご承知おき下さい。 Cloud Endpointsとは Cloud EndpointsはGoogle Cloud Platform(GCP)のサービスの1つで、API管理のための機能を提供します。Cloud Endpointsの主な機能は3
※この投稿は米国時間 2020 年 11 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 gRPC は Cloud Native Computing Foundation がホストする高性能なオープンソース RPC フレームワークです。GKE のお客様には、多くの場合マイクロサービスの作成に好んで使用されています。gRPC で構築したサービスでは、クライアントとサーバー側の実装言語を問わない効率的な相互通信が可能なためです。 ただし、Kubernetes はネイティブでは gRPC のヘルスチェックをサポートしないため、grpc-health-probe という名前のオープンソース プロジェクトを開発、リリースいたしました。gRPC サーバーのヘルスチェックを行うコマンドライン ツールであるこのプロジェクトは、これまで 180 万回ダウンロードされています
Docker/Kubernetesで作るクラウド時代のシステム基盤ってサブタイトルに惹かれて読んでみた。 コンテナ・ベース・オーケストレーション Docker/Kubernetesで作るクラウド時代のシステム基盤 [ 橋本 直哉 ] 価格：4298円（税込、送料無料) (2018/3/25時点) 本の内容としては以下。 第１章 コンテナ技術とオーケストレーションを取りまく動向 第２章 Docker コンテナの基礎とオーケストレーション 第３章 CaaS (Container as as Service) 第４章 Kubernetes によるコンテナオーケストレーション概要 第５章 GKE (Google Kubernetes Engine) 第６章 Rancher 第７章 Kubernetes on IBM Cloud Container Service 第８章 Openshift Net
GitHub - ahmetb/gke-letsencrypt: Tutorial for installing cert-manager on GKE get HTTPS certificates from Let’s Encrypt (⚠️NOW OBSOLETE⚠️)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Bayer Crop Science が 15,000 ノードの GKE クラスタを活用して未来に種をまく | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 6 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。 編集者注: 本日の投稿では、GKE のクラスタあたり最大 15,000 ノードのサポートが幅広いユースケースにどのように役立つかを探ります。特に Bayer Crop Science がジェノタイピング ラボから取得した新しい情報の迅速な処理を支援する方法を見ていきます。 Google で構築するプロダクトの主要要件は、スケーラビリティです。Google Kubernetes Engine（GKE）を採用する企業が増えるにつれ、Google では GKE クラスタの限界を押し広げることに取り組んできました。具体的に言うと、それは最大 15,000 個のノードを備えたクラスタを実現するための取り組みです。これはクラウドベースの Kubernetes サービスでサポートされ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Training ImageNet on a TPU in 12.5 hours with GKE and RiseML
Exposing services on GKE | Google Cloud Blog
CoreOSからECSへDockerを移行した · the world as code
GKEで動くPodのプロセスに対してstraceを打ち込む - CubicLouve
Containers & Kubernetes | Google Cloud Blog
双方向ストリーミングなgRPCサーバーをGKEにデプロイしてみる | DevelopersIO
GKE/GoでもStackdriver Debuggerを使いたい人生だった - Qiita
GKEでプリエンプティブインスタンスを使いこなす - あかいものログ
GKE でアドオンを削ったクラスタを起動する - Qiita
federated-cluster-on-gke
Wordpress案件にgkeを採用してみた(短縮版)
コンテナオーケストレーションとGoogle Kubernetes Engine（GKE）の特徴とその活用 | gihyo.jp
Google Cloud Next’18開幕、GKEのオンプレ版やサーバーレスアドオンを発表 (1/2)
ワークロードを他のマシンタイプに移行する | Kubernetes Engine | Google Cloud
k8s Deschedulerを使いこなしてスムーズなオートスケールを実現する - Qiita
GKE上にElasticsearchとcerebro環境を構築する - Qiita
認証機能付きAPIが簡単に作れるCloud Endpoints入門 | apps-gcp.com
GKE 上で gRPC サーバーのヘルスチェックを実施 | Google Cloud 公式ブログ
「コンテナ・ベース・オーケストレーション」を読んだ - @hihihiroroのLog