Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニング データ、モデル、チェックポイントを格納でき、クラウド ストレージ システムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクト セマンティクスではなく、ファイル システム セマンティクスを必要とするからです。 Linux の Filesystem in Userspace（FUSE）は、ファイル システムを Linux カーネル
Build, test, and deploy on our serverless CI/CD platform. New customers get $300 in free credits to spend on Cloud Build. All customers get 2,500 build-minutes free per month, not charged against your credits.
Kubernetes管理サービスGoogle Container Engine、Google Container Registryの概要と使い方、Fluentdによるログ監視
数多く台頭しているDockerの運用管理に関する製品／サービスの特長、使い方を徹底解説する本特集「Docker運用管理製品／サービス大全」。今回は、Google Container Engine（GKE）や、グーグル独自のDockerリポジトリであるGoogle Container Registryの概要と使い方を解説します。 内容は、2015年6月の記事執筆時のもので、GKEのバージョン「アルファ」です。なお環境構築手順の紹介で扱うDocker自体のバージョンは1.6を使っています。 GKEは、グーグルが提供するDockerオーケストレーションツールのSaaSです。VMインスタンスでDocker Engineが動作するホストを構築し、ネットワークの負荷分散でロードバランシングを行います。 またGKEは、Kubernetesの管理サービスですので、Kubernetesについて知らない方は前
PodのHorizontal Pod Autoscaling(水平podオートスケーリング) podのHorizontal pod autoscaling(水平podオートスケーリング)とは、podの負荷に応じて自動的にpodの数を増減させることを指す。 HorizontalPodAutoscalerリソースを定義することで水平オートスケーリングが可能になる。 まずDeployment, ReplicaSet, ReplicationController, StatefulSetはscaled resource objectと呼ばれる。 これらがauto scalingが可能なリソース。 HorizontalPodAutoscalerリソースの定義例: apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadat
Aug 19, 2020Google announces Cilium & eBPF as the new networking dataplane for GKE Today marks an exciting day for the Cilium community and all Cilium contributors, Google just announced that Cilium has been selected and made available as the new datapath for GKE and Anthos: Today, we’re introducing GKE Dataplane V2, an opinionated dataplane that harnesses the power of eBPF and Cilium, an open sou
Google Kubernetes EngineでIngressのSSLポリシー設定をTLS1.2以上に制限する
このエントリーは、GMOアドマーケティング Advent Calendar 2018 の 【12/23】 の記事です。 GMOアドマーケティングとしては初のAdvent Calendar参戦です。 こんにちは。GMOアドマーケティングのmizkichです。 この記事では、「GKE(Google Kubernetes Engine)上のIngress(Load Balancer)に対して脆弱性のあるSSL/TLSを無効化する方法」について紹介します。 KubernetesにはSSLを実装する方法が複数存在しますが、今回はingress-gceでの設定方法を紹介します。 目的 GMOグループでは、2018年7月より脆弱性のあるSSL/TLSプロトコルを順次無効化する方針となりました。 私が担当しているGKE上のシステムも対象です。 ingress-gceを使った場合は初期状態でTLS1.0やT
Google Cloud Anthos DayでGKEのセキュリティ対策と運用について話してきました | PLAID engineer blog
2020/01/30 に行われた Google Cloud Anthos Day に 「GKEにおけるセキュリティ対策と運用」というタイトルで登壇させていただいので、こちらのブログでもその内容を簡単にまとめておきます。
注意 ⚠️ kube-lego is in maintenance mode only. There is no plan to support any new features. The latest Kubernetes release that kube-lego officially supports is 1.8. The officially endorsed successor is cert-manager. If you are a current user of kube-lego, you can find a migration guide here. ⚠️ kube-lego は既に cert-manager によって置き換えられており、この記事は単なる歴史的文書です。 既に少し古いですが、 GKE で TLS 証明書を自動管理(cert-manager DNS-
Amazon EKSがGAだと言うので触ってみた
AWSのmanaged Kubernetesで、これまでプライベートベータだったElastic Container Service for Kubernetes がGAになった ということなので、さくっとクラスタを作成してみました。1 参考にしたのはAWS公式、EKSのGetting Started Guide です。 まずはEKSのページを見てみようとしたところ・・・ ぶっ壊れてますね！これはなんかアレですね。 gettext的なのが上手くいっていないように見えるので、画面下から英語にしてみます。 無事、正しいと思われるページが表示されました。 なんか、How it worksの説明の図がちょっとぼやけて見えるのは環境のせいでしょうか。 扨、ここからGetting Startedしていきます。 まずはEKS用のIAMロールを作っていきます。 IAMロール作成画面のサービスリストにEKSが
手元にDockerいらず GCP上でコンテナビルドして、そのままGKEにデプロイする Google Cloud Container Builder - Qiita
最近GCP・GKEにハマっております。とても楽しいです。AWSをさわり始めたときと同じようなワクワク感があります。今回はGCPのコンテナビルドサービスGoogle Cloud Container Builderを使ってGCP上でDockerコンテナをビルドして、そのままGKEにデプロイする手順をまとめてみました。 Google Cloud Container Builder（以下GCB）は、Cloud Storage上にあるソースコードをDockerビルドしてContainer Registryに登録してくれるサービスです。つまり、手元のパソコンにDockerがなくてもビルドしてくれるのです（実際コード書いて開発するとなると手元にDockerはないと面倒くさいけど…）。 Railsアプリをビルドしてデプロイする 今回はRailsアプリをGKEにデプロイしてみます。デプロイまでの流れは以下の
爆誕予定のテレメトリー集約/可視化基盤を晒してみる - NTT Communications Engineers' Blog
この記事は、NTT Communications Advent Calendar 2023 8 日目の記事です。 はじめに こんにちは、イノベーションセンターでノーコード分析ツール「Node-AI」開発チームの林です。 業務としては Node-AI のフロントエンドやバックエンド開発、最近では監視/可視化のプラットフォーム開発に携わっています。 本記事ではこの監視/可視化のプラットフォームについて、検討段階ではあるのですがアーキテクチャを中心にまとめていきたいと思います。 Node-AI について Node-AI はノーコード分析ツールとなっていて「予測/異常検知モデルをすぐに・簡単に・わかりやすく作成可能」といったところを推しているツールとなっています。 インフラとしては、Google Cloud を利用しており Google Kubernetes Engine (以下、GKE)の上でア
apiVersion: compute.cnrm.cloud.google.com/v1beta1 kind: ComputeAddress metadata: name: sample-ip spec: location: global 作成可能なリソース 最新情報はこちらで確認ください。先日GAになったみたいですが、頻繁にドキュメントは更新されています。 2020年2月時点で75種類のリソースが作成可能で、かなり多いです。 Terraformで作れるやつはだいたい作れそうで、APIの叩いているのでパラメータはほぼ同じでした。 メリット kubernetes の Service や Deployment と一緒にyamlで管理できて同じライフサイクルに入れられます。 ちょっと使いたいだけでTerraformは少し重たいので、Config Connectorはライトでかなり楽です。 （ちょ
EKS vs GKE vs AKS - Evaluating Kubernetes in the Cloud | StackRox Community
Providing an update on the core Kubernetes services offered by the big three We are now six years past the initial release of Kubernetes, and it continues to be one of the fastest-growing open-source projects to date. The rapid development and adoption of Kubernetes have resulted in many different implementations of the application. The Cloud Native Computing Foundation (CNCF) currently lists over
Modern CI/CD with GKE: Build a CI/CD system | Google Kubernetes Engine (GKE) | Google Cloud
This reference architecture provides you with a method and initial infrastructure to build a modern continuous integration/continuous delivery (CI/CD) system using tools such as Google Kubernetes Engine, Cloud Build, Skaffold, kustomize, Config Sync, Policy Controller, Artifact Registry, and Cloud Deploy. This document is part of a series: Modern CI/CD with GKE: A software delivery framework Moder
GKEを利用したサービスの運用
GCPUG Fukuoka ~ GKE / k8s 祭 & LT大会 ~
DeNAtechcon_DeNAのセキュリティの取り組みと、スマートフォンセキュリティ（same-origin policy）
TL;DR Kubernetes でマルチコンテナな Pod はよく使われる Cloud SQL Proxy はサイドカーコンテナとして動く前提 Job の完了には Pod を構成するプロセスが完了する必要がある PID Namespace は未実装 シグナルが送れない 完了しないと不意に再開する サイドカーコンテナを殺すためのプログラムを書いてみた サイドカーコンテナパターン Kubernetes は複数のコンテナからなる Pod を最小の単位として扱う。Google の社内コンテナ管理システムの Borg にも同様の仕組みがあり、その経験から「Design Patterns for Container-based Distributed Systems」でコンテナデザインパターンとして複数コンテナの連携のパターンを定義している。 このコンテナデザインパターンの中でも頻出するのが、メイン
こちらの記事は先日開催された Google Cloud INSIDE Games & Apps でのセッションの内容をまとめたものになります。 アーカイブが公開されているので是非そちらもご覧ください。 こんにちは。2020 年新卒入社の海老沼といいます。現在はこれから紹介する社内ゲームサーバー基盤 Takasho を利用したゲームサーバーの開発や運用をしています。 先日、『東方ダンマクカグラ』という東方Project初の公認スマホ向けリズムゲームをリリースしました。 今回はそんな『東方ダンマクカグラ』などのゲームを支える DeNA 内製のゲームサーバー基盤 Takasho の紹介と、 Takasho を利用したゲームサーバー開発/運用でどのように Google Cloud を活用しているか紹介します。 Takasho とは Takasho とは、DeNA 内製のゲームサーバー基盤です。 開
こんにちは。エムスリーエンジニアグループAI・機械学習チームで2021年新卒の北川(@kitagry)です。最近買ってよかったものは低温調理器です。リモートワークとの相性が抜群です。 今回は僕が入社1ヶ月ほどで作成した、GKEのSecret管理基盤について書きたいと思います。 これはGKEのSecretを安全にかつ手軽に作成できるようにしたツールになります。 OSSになっているので皆さんのコントリビューションをお待ちしています。 この記事は５月始めに書こうとしましたが、書く内容をどうするかを考えている内に６月を過ぎてしまっていました。笑 AI・機械学習チームのサービスの特徴 Secretの管理方法の検討 berglasについて berglas on GKE 1. Webhookの可用性 2. IAMポリシーの複雑さ berglas-secret-controller 1. berglas-
Persistent Disk と Cloud SQL を使用して GKE に WordPress をデプロイする | Kubernetes Engine | Google Cloud
フィードバックを送信 Persistent Disk と Cloud SQL を使用して GKE に WordPress をデプロイする コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このチュートリアルでは、MySQL データベースを使用して、単一レプリカの WordPress デプロイを Google Kubernetes Engine（GKE）に設定する方法について説明します。MySQL をインストールする代わりに、MySQL のマネージド バージョンを提供する Cloud SQL を使用します。WordPress では、PersistentVolumes（PV）と PersistentVolumeClaims（PVC）を使用してデータを保存します。 PV は、クラスタに管理者または Kubernetes がプロビジョニングするストレージ ボリューム
Introducing Google Container Engine (GKE) node pools | Google Cloud Blog
Editor's note: Updated May 27, 2016 with guidance on running nodes in multiple zones. Google Container Engine (GKE) aims to be the best place to set up and manage your Kubernetes clusters. When creating a cluster, users have always been able to select options like the nodes’ machine type, disk size, etc. but that applied to all the nodes, making the cluster homogenous. Until now, it was very diffi
4. - 名前： 柴田 幸輝 - 所属： 株式会社オプト - 役割： 雑務（Spark / React / GAE(Go) / k8s / マネージャー 他） - 技術メモ：https://qiita.com/uryyyyyyy 自己紹介 5. - DevOpsやりたいエンジニア募集！ - 公式サイト: https://www.opt.ne.jp/opttechnologies/ - 技術マガジン: http://tech-magazine.opt.ne.jp/ Opt Technologiesについて
Google Container Engine（GKE）に追加されたノード プールの使い方
Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ
GPUs as a service with Kubernetes Engine are now generally available
Product updates, customer stories, and tips and tricks on Google Cloud Platform
[Google Cloud Platform] GKEとSpinnaker | AI tech studio
初めましてアドテク本部の李と申します。 今回は、Google Cloud Platform(GCP)を触ろうということでGoogle Container Engine(GKE) × Spinnakerというお題の基、GKEとSpinnakerの連携周りでどう設定すればいいのかを書こうと思います。 Spinnakerのドキュメントはまだまだ少ないのでこれからKubernetesとSpinnakerを触ってみようかな、もしくはSpinnakerのKubernetes周りの設定などでつまずいている方々の力になれればと思います。 まず、Kubernetesってなんなの??のおさらいです。Kubernetesについてまとめてみました。 概要 Kubernetesの概要を簡単に箇条書きにしました。 ・複数のコンテナをpod単位でグルーピング -配備／削除、起動／停止を実行 -pod作成時に使用するコン
![[Google Cloud Platform] GKEとSpinnaker | AI tech studio](https://cdn-ak-scissors.b.st-hatena.com/image/square/6fa4f5408ffbb6ca7f7940880cd97578034a6bfb/height=288;version=1;width=512/https%3A%2F%2Fcyberagent.ai%2Fwp-content%2Fuploads%2F2016%2F10%2F90e6858ae4864669e605039d81b27cdc.png)
「攻めのインフラ」をスローガンに掲げ、「世界規模のゲームパブリッシャー」や「世界規模のファッションメディア」を始め、3億以上のエンドユーザーを、インフラを通じて支えている株式会社grasys。同社のOps（運用）チームの一員として活躍する泉水朝匡氏は、エンタープライズ系やアドテク系開発の経験は豊富だが、これまでKubernetesは未経験だったという。その泉水氏がある日突然、Google Cloud Platform（ GCP ）のマネージドサービスである Google Kubernetes Engine（ GKE ）環境を利用した案件開発の指名を受けた。すべてが初めての体験の中で、試行錯誤や苦悩を繰り返しながら環境構築、本番リリース、そして障害対応まで乗り越えていった経験を、泉水氏自らが客観的評価を交えながら振り返った。 株式会社grasys Cloud Infrastructure D
Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築した - オールアバウトTech Blog
オールアバウトシステム部技術基盤Gの@takkyです。 オールアバウトの技術基盤Gではコンテナを利用した開発の推進やクラウドを活用した開発のサポート、DevOpsの推進をしています。 詳しくはこちら： 今回はそのなかでもGoogle Cloud Platform(GCP)のサービスをフル活用してほぼNo-Opsでビッグデータ処理基盤の構築を行ったのでそのアーキテクチャについて説明します。 ビッグデータ処理基盤構築のきっかけ 案件の詳細に関しての記載はここでは伏せますが、フロント側でビッグデータを処理した結果を使用したいという要望が上がってきました。もちろんフロントで使用するため高速化・スケール化できることは最低条件となります。 GCEなどでオートスケールする手も考えたのですが障害時にOpsチーム(インフラチーム)に任せっきりになってしまい運用工数が増えてしまいます。また、開発者はインフラ側
Kubernetes hellonode tutorial is great, but it didn’t answer many questions that I had when building and deploying an actual app such as “how does my database get setup?”, “when do app packages get installed?”, “how does the developer environment setup work?” and “how do my containers talk to each other?”. In Part I of this walkthrough, we created a docker-compose developer environment and a fresh
kubernetes-meetup-4
Kubernetes Meetup Tokyo #4の発表 https://k8sjp.connpass.com/event/53737/ 参考URL https://platform9.com/blog/compare-kubernetes-vs-ecs/ https://medium.com…
Cloud Deploy - Fully Managed Continuous Delivery | Google Cloud
Cloud Deploy makes continuous delivery to GKE, Cloud Run services and jobs, and Anthos easy and powerful. Define releases and progress them through environments, such as test, stage, and production. Cloud Deploy provides easy one-step promotion and rollback of releases via the web console, CLI, or API. Built-in metrics enable insight into deployment frequency and success.
はじめに平素は大変お世話になっております。 クイックガードのパー子です。 ここ 1〜2年の傾向として、弊社でも Kubernetes を扱う案件が増えてきております。 設計から構築、運用まで一貫してお任せいただくことも多いのですが、安定運用するうえでオートスケールの活用は欠かせません。 (というか、これを活用しないと Kubernetes の価値は半減です。) ところが、Kubernetes にはオートスケールの仕組みが何種類もあり、さらにプラットフォーム独自のスケーリング方式も含めると、初見者にはなかなか全貌が把握しづらいところでございます。 そこで、今回は Google Kubernetes Engine (GKE) を対象に、利用可能なすべてのスケーリング方式の概観をまとめてみました。 あくまで概観を眺めるのみに留めており、各方式の具体的な設定方法は説明しませんので、必要に応じてググ
この記事は Kubernetes Advent Calendar 2017 の9日目です。 追記 Google Kubernetes Engine の中の人の @ahmetb が GKE と cert-manager HTTP-01 を組み合わせるチュートリアルを書いているので、英語で良いならそちらも推奨します。 https://github.com/ahmetb/gke-letsencrypt まえがき 昨年は kube-legoや kube-cert-manager を使って Let's Encrypt で証明書を自動取得する記事を書きました。また当時はまだ証明書を Kubernetes で自動管理する手法は出てきたばかりでしたが、この1年間カジュアルに運用してみたという話はかなり多かったように思います。 実際に運用してみると、 kube-lego に苦しまされた方が多かったようです。
Cluster administration overview | Google Kubernetes Engine (GKE) | Google Cloud
In Google Kubernetes Engine (GKE), you configure a cluster's configuration and characteristics using Google Cloud tools and APIs, including the Google Cloud CLI and the Google Cloud console. These tasks include creating, updating, and deleting clusters, adding or removing nodes, and controlling who can access the cluster using Identity and Access Management (IAM). To control the cluster's internal
GKE gRPC Ingress LoadBalancing – Google Cloud Platform - Community – Medium
gRPC client/server running loadbalanced/failover on Google Compute Engine and Google App Engine — salrashid123/gcegrpc cd gke_ingress_lb_backend_config kubectl apply -f .Wait for the Ingress and Loadbalancer configurations to allocate an IP and test as described below. How it works: Look at fe-srv-ingress.yaml file for the BackendConfig: --- apiVersion: v1 kind: Service metadata: name: fe-srv-ingr
Bringing eBPF and Cilium to Google Kubernetes Engine | Google Cloud Blog
New GKE Dataplane V2 increases security and visibility for containers Editor’s note: As of May 10, 2021, GKE Dataplane V2 is generally available starting with GKE version 1.20.6-gke.700. We’re also using Dataplane V2 to make Kubernetes Network Policy logging generally available on Google Kubernetes Engine (GKE). One of Kubernetes’ true superpowers is its developer-first networking model. It provid
Solution Architect達に聞いたGKEのベストプラクティス @ Google Cloud Next ’17 in Tokyo
kubernetesのマネージド・サービスであるGKE,自分も利用していますが、まだまだ情報が少なくベストプラクティスが見つかっていない状態でした。 今回、Cloud Nextのイベント会場内にあった ask the expert というブースで、ソリューションアーキテクトたちに質問し放題という素晴らしい場所があったのでたくさん質問してきました。 あと、講演者のイアンともちょっと話すことができたので、そのあたりの話を簡単にまとめておきます。 ロギング・モニタリング Q.「fluentdのコンテナをside carとして使う方法もあるけど、それだとバッファがはける前にコンテナが死んでしまったときのことが不安。ログの分類などができませんが、stdoutしかないでしょうか？」 A.「stdoutしてstackdriverに全て流すのがベスト。stackdriver上でフィルタリングをすれば、ログ
2020 年 4 月 27 日（月） 第 10 回 Google Cloud INSIDE Games & Apps Online Google Cloud 篠原 一徳によるセッション スライドです。Read less
クイックスタート: アプリを GKE クラスタにデプロイする | Google Kubernetes Engine (GKE) | Google Cloud
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このクイックスタートでは、シンプルなウェブサーバーのコンテナ化されたアプリケーションを Google Kubernetes Engine（GKE）クラスタにデプロイします。ここでは、クラスタを作成する方法と、クラスタにアプリケーションをデプロイしてユーザーがアクセスできるようにする方法について説明します。 このドキュメントを読む前に、Kubernetes について理解しておいてください。 始める前に 次の手順で Kubernetes Engine API を有効にします。 Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our pr
Introducing container image streaming in GKE | Google Cloud Blog
Introducing GKE image streaming for fast application startup and autoscaling We’re excited to announce the general availability of a new feature in Google Kubernetes Engine (GKE): image streaming. This revolutionary GKE feature has the potential to drastically improve your application scale-up time, allowing you to respond to increased user demand more rapidly, and save money by provisioning less
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Build serverless CI/CD platform | Google Cloud
KubernetesのPodとNodeのAuto Scalingについて - Qiita
Google announces Cilium & eBPF as the new networking dataplane for GKE
GKE でサービスを HTTPS と HTTP/2 に対応する(kube-lego 編) - Qiita
Terraformの代わりにGCP Config Connectorを使った - Qiita
Rails on GKEで運用するWebアプリケーションの紹介
サイドカーコンテナを含む Kubernetes Job を完了させる - Qiita
社内ゲームサーバー基盤 Takasho とは | BLOG - DeNA Engineering
入社一ヶ月でGKEのSecret管理基盤を作った話 - エムスリーテックブログ
K8s(gke)をプロダクトに投入するまでの話
Kubernetes未経験者が GKE の本番リリース――初めてづくしの体験と障害を克服【デブサミ2020】
Deploying Rails on Kubernetes
GKE のオートスケール 5種類を概観する - QG Tech Blog
GKE で TLS 証明書を自動管理(cert-manager DNS-01 編) - Qiita
https://inthecloud.withgoogle.com/anthos-day-2001/Google_Cloud_Anthos_Day_200130_Session8.pdf
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online