Config Controller で Google Cloud のガードレールを構築する
この記事は Google Cloud Japan Advent Calendar 2021 の 2 日目の記事です。Config Controller という新しいサービスを使ってガードレールを構築する話をします。 tl;drConfig Controller という Google Cloud リソースの管理・プロビジョニングを行ってくれるサービスが登場しました。Config Controller を活用することにより、柔軟なポリシー制御（ガードレール）と Reconciliation（自己修復）を組み合わせ Google Cloud 環境をより高度に管理することができます。Config Controller とはConfig Controller は Google Cloud リソースの管理・プロビジョニングをしてくれるサービスです。 Config Controller は Terraf
GCPの秩序を取り戻すための試み 〜新米GCP管理者の奮闘記〜 - ZOZO TECH BLOG
こんにちは。SRE部データ基盤チームの塩崎です。ZOZOテクノロジーズではGCPの管理を各プロジェクトのOwnerに任せていた時期が長く続いていましたが、今期から全社的なGCP管理者を立てることになりました。本記事では新米GCP管理者である僕が全社的なGCPの管理をする上で遭遇した事例を紹介します。時には泥臭い方法で、時にはプログラムの手を借りて自動化をし、数々の難題に対処しました。 GCPのリソース階層について 具体的な事例紹介の前に、GCPのリソース階層を説明します。多くのGCP利用者からは、プロジェクトが最上位のリソースであるように見えますが、実はそれ以上の階層が存在します。以下の図をご覧ください。図の通り、プロジェクトの上位リソースとしてFolder、Organizationという2つのリソースが存在します。 cloud.google.com Folderはプロジェクトの論理的なま
Google Cloud のアクセス管理をおさらいしよう 2020アップデート版
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2020 の 2日目の記事です。 TL;DR本記事ではGoogle Cloud でのアクセス管理について整理していきます。 はじめにGoogle Cloud Japan Customer Engineer Advent Calendar 2019 で、Google Cloud の IAM をおさらいしよう という記事を書いたのですが、多くの方に読んでいただいたのですが、逆に多くの方が悩まれるトピックなのだなと感じました。2020年も多くのアップデートがありましたので、改めて Google Cloud の アクセス管理をおさらいしていきましょう。 クラウドを使う上で、ユーザー管理や権限管理は非常に重要です。Google Cloud を使う際に、どのようにユーザー管理できるのか
Anthos Service Mesh を導入、移行、そして使いこなしてみよう
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2020 の 19 日目の記事です。 皆さんサービスメッシュは導入していますか？？ 最近流行ってきているので、名前を聞くことは増えていると思いますが、使っている方、さらに本番導入している方となるとまだまだ少ないのではないのでしょうか。 本日はサービスメッシュの簡単な概要から、GCP のオファリングである Anthos Service Mesh を中心に重要なポイントに絞ってご説明します。後半ではハンズオンの手順を示していますが、実際に試さずとも流れとポイントを掴んで頂ければ幸いです。 tl;drマイクロサービス アーキテクチャを採用する場合、サービスメッシュの利用も検討しようGCP のプロダクトである Anthos Service Mesh が単体でご利用頂けるようになりま
GCPで理想の構造化ログを出力する方法
はじめに この記事では、GCP のマネージドサービス(Google App Engine[1]/Cloud Run/Cloud Functions/GKE)から Cloud Logging に良い感じの構造化ログ(理想の構造化ログ)を出力する方法について紹介します。 良い感じのログの例 前提条件 この記事で紹介する構造化ログの実装は基本的に以下の仕様にそって実装しています。重要な仕様なので興味のある方は一度読んでみることをおすすめします。 構造化ペイロードの特殊フィールド 用語の解説 本編に入る前に、この記事で使われるログ出力まわりの用語をまとめておきます。以下の用語については前置きなく使いますのでよろしくお願いします。 構造化ログ[2] プレインテキストではなく、JSON等のデータ形式で出力されたログのこと GCPのCloud Logging(旧Stackdriver Logging)で
GCPでマイクロサービス Sagaパターン編
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2020 の 22 日目の記事です。 こんにちわ。今日はマイクロサービスの設計パターンの一つ Saga パターン と GCP での実装例を紹介します。マイクロサービス入門者の方に向けた記事として、できるだけわかりやすく書いてみたいと思います。 TL;DRSaga パターンはマイクロサービスでトランザクショナルな処理を実現するアーキテクチャ パターンGCP では、Cloud Run や Cloud Workflows などのサーバーレス サービスを利用して、マイクロサービスを効率よく構成可能GitHub にすぐに試せるサンプルコードがあります マイクロサービス アーキテクチャの課題 マイクロサービスの概念は以前からありますが、最近では Kubernetes やサービスメッシュ
デザインパターン - Google Cloud のソリューション
ウェブサイト リニューアルおよび移行のお知らせ 2022 年 7 月 Google Cloud Solution Design Pattern のウェブサイトはリニューアルを行い、以下に移行いたしました。より使いやすくなっておりますので、これまで以上にご活用いただけますと幸いです。 gc-solution-design-pattern.jp ソリューション デザインパターン とは ソリューション デザインパターンでは、 ワークロードごとに Google Cloud のアーキテクチャを 2 つの観点でまとめています。 1 つ目は、様々な業界で利用できる共通のソリューション デザインパターンとして「エンタープライズ向けの組織、 IAM、請求管理」、「インフラストラクチャとマイグレーション」、「アプリケーションおよびデータベースのモダナイゼーション」などを用意しています。 2 つ目は、ゲーム業界
Prometheusで収集したメトリクスを使ってCloud Monitoringのダッシュボードを作成する - A Day In The Life
Prometheus で収集した GKE アプリケーションのメトリクスを GCP の Cloud Monitoring(旧Stackdriver Monitoring) にエクスポートして Cloud Monitoring のダッシュボードを作成する方法を紹介します。Prometheus といえば Grafana を使ってダッシュボードを作成することが多いですが GCP 環境では Cloud Monitoring に一元化して監視できたほうが何かと便利です。あえて Grafana を使わず Cloud Monitoring でメトリクスを可視化します。 以下の記事で GKE 上に構築した Redis のメトリクスを Prometheus を使って収集しました。この環境を利用して Prometheus から Cloud Monitoring にメトリクスをエクスポートする方法を紹介します。
GKEクラスタに割り当てるCIDRを設計する | フューチャー技術ブログ
はじめに前回投稿したGCP記事で紹介したGKEクラスタのCIDR設計について、深堀りした記事になります。 1-5. 共有VPC上のGKEクラスタのセカンダリCIDR設計 事象: オンプレ環境と接続する1つの共有VPC上にproduction, stagingなど複数プロジェクトを相乗りさせる場合、各プロジェクトで利用するセカンダリCIDRの設計が必要。 対応: GKEで必要なセカンダリCIDRを本腰入れて設計しました。スタンダードなこれと言った解はなく、必要な環境数、オンプレ環境から割り当てられたIP範囲から適宜設計する必要があります。 記載通りですが、GKEクラスタを構築する際に、実際に設計した内容を元に制約や設計のポイントを紹介したいと思います。 GKEとは コンテナ化されたアプリケーションをデプロイするための、本番稼働に対応したマネージド型環境です。 https://cloud.go
GCP プロジェクトにおけるコスト監視 | BLOG - DeNA Engineering
はじめに こんにちは、IT基盤部のヨハンです。 担当の業務内容は、ゲームタイトル及びプラットフォーム、オートモーティブ事業のインフラを運用をメインとしておりますが、兼任で DeNA が持つパブリッククラウドについて横断で管理及び運用する業務も担当しております。 パブリッククラウドには AWS, GCP を含め様々なサービスを利用しており、数でいうと1000以上存在しますが、それらのアカウントの作成/解約フローや、セキュリティなど運用するにあたって、生じる様々な問題や課題を改善していくことで効率よくより良い形で利用者に提供ができて、管理者にとっても大きな負担なく多数のアカウントを管理できることをミッションとしています。 今回は多数のパブリッククラウドを管理する業務の中で、GCP プロジェクトに対しどのような方法でコスト監視を行っているのか、その仕組みと設定について焦点をあて紹介させていただき
BigQueryの監査ログは役に立つ | PLAID engineer blog
Google Cloudサービスが提供しているBigQuery監査ログの活用方法。 実際に弊社で利用しているクエリも併せて紹介します。
【AWSしかやったことない人向け】AWSとGCPのネットワークの違いを理解してみよう - まーぽんって誰がつけたの？
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
メルペイでのSpannerとの戦いの日々 | メルカリエンジニアリング
こんにちは、メルペイのバックエンドエンジニアの @kazegusuri です。 メルペイではメインのデータベースとしてGoogle Cloud Spannerを利用しています。 マイクロサービスによっては秒間数千リクエストをSpannerで処理しています。 いかにSpannerをスケールできるようにして安定させられるかが会社全体として重要になっています。 本記事では数ヶ月間戦ってきたSpannerのレイテンシが高くなる問題とその解決法について紹介したいと思います。 社内への調査報告も含めて書いているため、かなり詳細で長い内容になっています。 なおこの問題の大部分はGoでSpannerを使ったときにだけ発生する問題のため、Javaなどの他の言語では該当しない可能性があります。 CreateSession問題 ここで紹介しなくても良いくらい基本的なところですが、CreateSessionが非常
アイコン ライブラリ | Google Cloud
Google Cloud でワークロードをビルドまたは移行するためのリファレンス アーキテクチャ、図、設計パターン、ガイダンス、ベスト プラクティスを示します。
GCP と OAuth2
はじめにGCP のサービスにプログラムからアクセスするためには必ず認証・認可が必要ですが、以下のような様々なコマンドや概念が出てくるので少しとっつきにくい印象があります。 gcloud auth logingcloud auth application-default loginService AccountApplication Default Credentialsこれらの概念は認証・認可のベースとなっている OAuth2 の文脈で眺めてみると全体像が理解しやすくなるので、本記事でまとめてみたいと思います。 GCP での認証・認可GCP の認証・認可は一部(*)を除いて全て OAuth2 ベースでやり取りされています。(* API Key) OAuth2 は三者間の手続きです。 3-Legged OAuth2Client が Resource Owner の代わりに Resource
Cloud Spanner のハイレベルアーキテクチャ解説
Last update: 2018/7/5 Google Cloud でゲーム担当をやっているサミールです。 本日のトピックは私が大好きな Cloud Spanner となります。Cloud Spanner は GCP のフルマネージド・グローバルスケール・リレーショナルデータベース・サービスです。Cloud Spanner は裏では NoSQL でよくある分散データベースですので、NoSQL の特性を提供しております。 HA (高可用性）水平方向のスケーラビリティ（動的にダウンタイムなしにノードの追加・削除が可能）なお MySQL のようなリレーショナルDB と同じ特性も提供しております。 スキーマ強整合性SQL クエリ（ANSI 2011）言い過ぎかもしれないが、マルチマスターの MySQL というイメージで良いと思います。 注意点：Cloud Spanner は MySQL 互換では
Kubernetes Service Catalog と GCP Service Broker : サービスを見つけてクラウド ネイティブ アプリに接続 | Google Cloud 公式ブログ
Kubernetes Service Catalog と GCP Service Broker : サービスを見つけてクラウド ネイティブ アプリに接続 Kubernetes はクラウド ネイティブ アプリケーションの構築を支援する使いやすいプラットフォームを提供しますが、ネイティブ アプリケーションの一部はストレージやメッセージングなどのクラウド ベース サービスとともに使用する必要があります。ただし、そうしたサービスをセットアップしたり、サービスに Kubernetes から接続したりすることは容易ではなく、専門知識を必要とします。 Google Cloud Platform（GCP）でホストされている Kubernetes クラスタやオンプレミス Kubernetes クラスタから GCP サービスに簡単に接続できるようにするため、Google は新しいサービス フレームワークをリリ
Cloud Storage のパフォーマンスを最適化する | Google Cloud 公式ブログ
Google Cloud Storage は、ほとんどの（すべてではないとしても）開発ニーズに対応できる、Google Cloud Platform の強力な統合型オブジェクト ストレージです。ユーザーに近いエッジでのサービス提供や、CDN（コンテンツ配信ネットワーク）、自動冗長化といった機能をすぐに利用できますし、もちろん、このストレージを使うことによる自社の二酸化炭素排出量はゼロです！ それでも、個々の開発者ごとに Cloud Storage に関して固有のユース ケースや要件があります。Cloud Storage をそのまま使用しても得られるパフォーマンスは素晴らしいですが、この投稿では、特定のユース ケースへの最適化に役立つ高度なコツ、工夫、アドバイスを紹介します。 パフォーマンス基準の確立 まず念頭に置かなければならないのは、測定できないものは改善できないということです。したがっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Blog
Memorystore: in-memory Redis compatible data store