Dataflow(batch)でZONE_RESOURCE_POOL_EXHAUSTEDが発生した話
こんにちは。 GMO NIKKOのT.Cです。 今回は、Dataflowで、特定のゾーンにあるリソースが一時的な不足(= ZONE_RESOURCE_POOL_EXHAUSTED)により、間欠的にJobが失敗した内容について話したいと思います。 ※ 本ブログで発信される情報は、個人の見解でドキュメントで直接言及されてない内容も含まれているため、実際とは異なる可能性もあるので、参考までにしてください 1日何回も、Cloud FunctionでDataflow(batch・dataflow shuffle)を動かしてGCSにあるログを処理していますが、ゾーンのリソース不足により、Jobが失敗する現象が数日にわたって間欠的に発生していました。 Startup of the worker pool in zone us-central1-a failed to bring up any of th
Cloud Run で Identity-Aware Proxy (IAP) を使う
執筆時点で Public Preview な内容を扱っています。GA になった際に内容に誤りが生じる場合があるため、最新の一次情報も確認してください。 https://cloud.google.com/iap/docs/enabling-cloud-run Cloud Run は Google Cloud Platform (GCP) で提供されている Serverless Computing の1つで、Container のフルマネージドホスティングサービスです。 Identity-Aware Proxy (IAP) は GCP で提供されている、アプリケーションレベルの認証、承認のためのアクセス制御サービスです。 これまで、IAP は GCE や GKE、GAE でしか使えませんでした。 そのため Cloud Run で認証を行う場合はアプリケーションに実装するか、Cloud Endp
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
Cloud BuildからSecret Managerの変数がなぜか読み取れない人へ贈るTips - Qiita
この記事を必要とする人 Cloud BuildからSecret Managerを利用しようとしたけどなぜか利用できない人へ こんなこと起きてませんか？ と言いたいだけの記事です。ちなみに公式ドキュメントを読んだ人は、この記事の気にしてみるポイントの5番だけ読んだらもしかしたら解決するかも。もしこれで解決できない人とか、他の原因見つけたらコメントくれると追記します。 想定しているもの エラーになっているものはこちらで steps: - name: gcr.io/cloud-builders/docker id: Build args: - build - '--no-cache' - '-t' - '$_GCR_HOSTNAME/$PROJECT_ID/$REPO_NAME/$_SERVICE_NAME:$COMMIT_SHA' - . - '-f' - 'Dockerfile' - id:
Cloud RunでOpenTelemetry Collectorをサイドカーとして動かす
こんにちは！Google Cloudでオブザーバビリティを担当しているものです！Cloud Runでマルチコンテナーサポートがパブリックプレビューになりましたね！これはCloud Runでサイドカーを走らせられるということです！というわけで今日は1ユースケースとしてOpenTelemetry CollectorをCloud Runのサイドカーとして走らせてみようと思います。 TL;DR Cloud Runのマルチコンテナーサポートを使うと、アプリケーション側はOTLP送信の実装だけして、OpenTelemetry Collectorをサイドカーとして走らせて、テレメトリーをCloud Opsや外部のオブザーバビリティツールに送ることが可能になります。 構成 Kubernetesで使っているようなポッド内のサイドカーの構成をCloud Runでもできますよ、というだけなので、それをわかってる
Cloud Run でサイドカーのデプロイが可能に - モニタリング エージェントやプロキシなどに最適 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 5 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Run はフルマネージド型のコンテナ ランタイムで、コンテナ内のコードをゼロから適切な数のインスタンスに自動スケールして、受信リクエストすべてに対応できるようにします。これまで、Cloud Run サービス内のインスタンスはそれぞれ、1 つのコンテナで実行されていました。このたび Cloud Run サイドカーが導入され、ウェブ リクエストを処理するメインコンテナの他に、独立したサイドカー コンテナを起動して実行できるようになりました。 Cloud Run サイドカーの利用例を以下に示します。 アプリケーションのモニタリング、ロギング、トレーシングを行う アプリケーション コンテナの前面で Nginx、Envoy、または Apache2 をプロキシとして使用
AutoMLからVertexAIに移行した話
この記事は GMOアドマーケティング Advent Calendar 2023 18日目の記事です。 はじめに こんにちは、GMOアドマーケティング GMOSSP開発担当の@KazuakiMです。 GMOSSPではAutoML Visionで広告画像の解析を行い、解析結果を広告審査に利用しています。 そしてAutoML Visionを利用している方はGoogleから下記メールが度々送られているため、ご存知だと思いますが 2024/01/23 にAutoML Visionの役目を終えます。 Your AutoML Vision Services will remain available through January 23, 2024, unless you discontinue your usage of AutoML Vision, or migrate to Vertex AI b
Google Cloud が、デジタル庁ガバメントクラウドの利用を促進するサーバレスの Web アプリケーション開発を支援 | Google Cloud 公式ブログ
Google Cloud が、デジタル庁ガバメントクラウドの利用を促進するサーバレスの Web アプリケーション開発を支援 デジタル庁ガバメントクラウドの利用を支援する Web アプリケーション「GCAS（Government Cloud Assistant Service：ガバメントクラウド活用支援サービス）」が開発され、Google Cloud は、クラウド サービスやアーキテクティングの面からこの構築をご支援しています。GCAS はデジタル庁内製主導で開発され、2023 年 4 月より提供開始されています。 ガバメントクラウド移行の本格化に向け、今後、省庁や 1,741 ある地方公共団体、準公共と呼ばれる領域からのクラウド利用申請が急激な勢いで増加していくことが予測されています。これを自動化・効率化し、デジタル施策推進を支援する仕組みが GCAS です。従来は必要な書類をメール添付な
BigQueryのストレージ料金プランを変更して、年間数千万円を節約する - ZOZO TECH BLOG
こんにちは、最近気になるニュースはサザエの学名が数年前に初めて命名されたこと1な、MLデータ部データ基盤ブロックの塩崎です。BigQueryのストレージに関する新料金プランが先日発表されたので、その検証をしました。我々の環境では年間で数千万円という費用削減を達成できることが分かりましたので、BigQueryに多くのデータを蓄積している会社は是非お試しください。 ストレージ費用の悩み データ基盤を長期間運用していると、データ量の増加が問題になることがしばしばあります。特にユーザーの行動ログやスタースキーマにおけるファクト系テーブルなどはデータがどんどん蓄積されます。古いデータを削除することでデータ量の増加を緩和できますが、それでもサービスの成長に伴いデータ量は増加する傾向になります。 BigQueryはコンピューティングとストレージが高度に分離されているので、初期のAmazon Redshi
Best practices for GKE networking | Google Kubernetes Engine (GKE) | Google Cloud
This document outlines the best practices for configuring networking options for Google Kubernetes Engine (GKE) clusters. It is intended to be an architecture planning guide for cloud architects and network engineers with cluster configuration recommendations that are applicable to most GKE clusters. Before you create your GKE clusters, we recommend that you review all the sections in this documen
GKE と Cloud Run、どう使い分けるべきか | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 11 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 高度なスケーラビリティと構成の柔軟性を提供するコンテナ オーケストレーション プラットフォームを求めているお客様にとって、マネージド Kubernetes サービスである Google Kubernetes Engine（GKE）は優れた選択肢になります。GKE は、ステートフル アプリケーションのサポートに加えて、ネットワーキング、ストレージ、オブザーバビリティ（可観測性）のセットアップなど、コンテナ オーケストレーションのあらゆる側面を完全に制御できます。 しかしながら、お使いのアプリケーションがそうしたレベルのクラスタ構成やモニタリングを必要としない場合は、フルマネージドの Cloud Run が最適なソリューションになるかもしれません。フルマネージド Clou
話題の AlloyDB は本当に凄いデータベースなのでプレビューを使い倒した #devio2022 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 この度クラスメソッド株式会社で開催している技術イベント DevelopersIO 2022 のアーカイブ動画セッションに登壇しましたので、ブログで解説を行いたいと思います。なお本内容は2022年6月時点の内容となっていますので、現在の状況とは異なっている場合がございますのでご了承ください。 AlloyDB for PostgreSQL は2022年7月27日現在において、プレビューのステータスです。このプロダクトまたは機能は、Google Cloud Platform の利用規約の一般提供前のサービス規約の対象となります。一般提供前のプロダクトと機能では、サポートが制限されることがあります。また、一般提供前のプロダクトや機能に変更が加えられると、他の一般提供前バージョンと互換性がない場合があります。詳細については、リリースステージの説明
Terraform を使用するためのベスト プラクティス | Google Cloud
フィードバックを送信 Terraform を使用するためのベスト プラクティス コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このドキュメントでは、複数のチームメンバーやワーク ストリームで Terraform を使用した効果的な開発を行うためのガイドラインと推奨事項について説明します。 このガイドでは Terraform の概要は説明しません。Google Cloud で Terraform を使用する方法については、Terraform を使ってみるをご覧ください。 スタイルと構造に関する一般的なガイドライン 以下の推奨事項は、Terraform 構成の基本スタイルと構造を対象としています。この推奨事項は、再利用可能な Terraform モジュールとルート構成に適用されます。 標準のモジュール構造に従う Terraform モジュールは、標準のモジュ
メルカリShops における Cloud Run service の Canary Deployment | メルカリエンジニアリング
こんにちは！ソウゾウの Software Engineer の @dragon3 です。連載：メルカリShops 開発の裏側 Vol.2 の4日目を担当させていただきます。 この記事では、メルカリShops において、Cloud Run service を安心して deploy するための Canary Deployment の仕組みについて紹介します。 Cloud Run service の deploy 方法とその変遷 まず、現在の Canary Deployment の仕組みに至るまでに、これまでどのように deploy をおこなってきたかの変遷について紹介します。 1. 開発初期は gcloud コマンドラインツール メルカリShops の開発がはじまった直後は、素朴に gcloud コマンドを使った CI/CD (GitHub Actions) workflow で deploy
Cloud Run で段階的なロールアウトとロールバックを支援 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 7 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。 すべてのデベロッパーは、次のデプロイが成功するという確証を求めています。 しかし、急に 100% のトラフィックにデプロイしては、何か問題が発生したときにリスクが生じかねません。ベスト プラクティスは、変更を段階的にロールアウトして、新しいバージョンのコードで新たな不具合やエラーが発生しないかを確認することです。実際 Google では、4 日かけてコンポーネントの多くのロールアウトを行っています。 Google のフルマネージド コンテナ コンピューティング プラットフォームである Cloud Run を使用すれば、変更のロールアウトをより詳細に管理できます。Cloud Run サービスの構成を変更した場合は常に、新しいリビジョンが作成されます。デフォルトでは、Clo
G.I.G.プログラム参加とProfessional Cloud Architect試験について
GMOアドマーケティングのT.Nです。 Google Cloud 主催の G.I.G. プログラムに参加し、 Google Cloud Professional Cloud Architect 認定資格も取得したため、 プログラムの内容や感想を記事にしました。 G.I.G. について G.I.G. は Google Cloud Innovators Gym の略で、 Google Cloud が主催する、 Google Cloud Platform のスキル習得のための招待制のプログラムです。 Google Cloud のエンジニアによるセッションが定期的に開催され、 期間中は Google Cloud が提供する Coursera のコースを全て受講することができます。 また、 Google Cloud 認定資格試験の受験の支援もあります。 セッションについて 3ヶ月にわたり、月に1回ハ
GCP の Compute Metadata Credentials について
Google Cloud Platform(以降 GCP) の認証認可については GCP と OAuth2 などの記事があるが、 Compute Metadata credential そのものの解説はあまり十分にされているとは言えないので、今回一つの記事で説明する。 Compute Metadata Credentials と聞いてもピンと来ない人向けに書くと、「Cloud Run や Cloud Functions などの GCP のプロダクトから GCP の API を呼ぶのにサービスアカウントキーが必要ないこと」の裏側がどのように動いているかの話について説明する記事である。 Compute Metadata Credentials とは Compute Metadata Credentials は Google Cloud Platform(以降 GCP) の標準の credent
python3の入った環境でgcloud dockerが動かなくなった件
GMOアドマーケティングのmizkichです。 GCPにDocker Containerをアップロードするためのコマンドが急に動かなくなりました。 対処法は簡単だったのですがどこにも情報がなかったので、同様に躓いた人用に備忘録を残しておきます。 python3とgcloudを両方使っている方は、文末の環境変数を設定して置いた方が良さそうです。 gcloud dockerが動かない 普段と異なるPCでGCPへコンテナをデプロイしたところ、gcloud dockerが動かなくなっていました。 GCPへコンテナをPUSHすると「ERROR: gcloud crashed (TypeError): a bytes-like object is required, not ‘str’」とエラーがでます。 ERROR: gcloud crasherd (TypeError): a bytes-like
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PCA
Professional Cloud Architect 認定試験ガイド | Learn | Google Cloud