Dataflow(batch)でZONE_RESOURCE_POOL_EXHAUSTEDが発生した話
こんにちは。 GMO NIKKOのT.Cです。 今回は、Dataflowで、特定のゾーンにあるリソースが一時的な不足(= ZONE_RESOURCE_POOL_EXHAUSTED)により、間欠的にJobが失敗した内容について話したいと思います。 ※ 本ブログで発信される情報は、個人の見解でドキュメントで直接言及されてない内容も含まれているため、実際とは異なる可能性もあるので、参考までにしてください 1日何回も、Cloud FunctionでDataflow(batch・dataflow shuffle)を動かしてGCSにあるログを処理していますが、ゾーンのリソース不足により、Jobが失敗する現象が数日にわたって間欠的に発生していました。 Startup of the worker pool in zone us-central1-a failed to bring up any of th
AutoMLからVertexAIに移行した話
この記事は GMOアドマーケティング Advent Calendar 2023 18日目の記事です。 はじめに こんにちは、GMOアドマーケティング GMOSSP開発担当の@KazuakiMです。 GMOSSPではAutoML Visionで広告画像の解析を行い、解析結果を広告審査に利用しています。 そしてAutoML Visionを利用している方はGoogleから下記メールが度々送られているため、ご存知だと思いますが 2024/01/23 にAutoML Visionの役目を終えます。 Your AutoML Vision Services will remain available through January 23, 2024, unless you discontinue your usage of AutoML Vision, or migrate to Vertex AI b
G.I.G.プログラム参加とProfessional Cloud Architect試験について
GMOアドマーケティングのT.Nです。 Google Cloud 主催の G.I.G. プログラムに参加し、 Google Cloud Professional Cloud Architect 認定資格も取得したため、 プログラムの内容や感想を記事にしました。 G.I.G. について G.I.G. は Google Cloud Innovators Gym の略で、 Google Cloud が主催する、 Google Cloud Platform のスキル習得のための招待制のプログラムです。 Google Cloud のエンジニアによるセッションが定期的に開催され、 期間中は Google Cloud が提供する Coursera のコースを全て受講することができます。 また、 Google Cloud 認定資格試験の受験の支援もあります。 セッションについて 3ヶ月にわたり、月に1回ハ
python3の入った環境でgcloud dockerが動かなくなった件
GMOアドマーケティングのmizkichです。 GCPにDocker Containerをアップロードするためのコマンドが急に動かなくなりました。 対処法は簡単だったのですがどこにも情報がなかったので、同様に躓いた人用に備忘録を残しておきます。 python3とgcloudを両方使っている方は、文末の環境変数を設定して置いた方が良さそうです。 gcloud dockerが動かない 普段と異なるPCでGCPへコンテナをデプロイしたところ、gcloud dockerが動かなくなっていました。 GCPへコンテナをPUSHすると「ERROR: gcloud crashed (TypeError): a bytes-like object is required, not ‘str’」とエラーがでます。 ERROR: gcloud crasherd (TypeError): a bytes-like
AWSエンジニアがGCPメインの会社に転職してみた話
初めまして、GMOアドマーケティング インフラ開発部のhakumaiです。 今年1月にHRTech系企業からGMOアドマーケティングに転職してきました。 現職では、女子向けメディア「めるも」のインフラ業務に携わり、日々業務に励んでおります。 今回は、私が転職してみて感じたインフラ技術のギャップの一部についてお話しいたします。 前職でのインフラ環境・経験について 前職のHRTech企業で触っていたインフラ環境は、ほぼAWSでした。 インフラの保守運用業務に加え、新規プロダクトのインフラアーキテクチャ設計構築を経験したこともあり、 VPCやEC2・RDS・S3・ECSなど基本的なAWSのサービスについての知識はある状態でした。 ちなみに、AWSのソリューションアーキテクトアソシエイトも取得済みです。 また、GCPは全くの未経験でした。 アドマのインフラ環境について 一部オンプレもありますが、環
【GCP】オートスケールのクールダウン期間指定について
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 GCEマネージドインスタンスのオートスケールを用いる際、クールダウン期間を指定できるので実際にどんな動きをするのか確認してみます。 クールダウン期間とは インスタンス生成してから再度オートスケール指標を取得するまでの期間。デフォルトは60秒。 初期化時間よりも短過ぎても長過ぎても良くないらしく、ちゃんと初期化時間を計測して設定すべきとのこと。 公式ドキュメント「クールダウン期間」 確認したいこと アプリケーションが起動する前にクールダウン期間に入ると更にインスタンスが追加されるのか？ 結論 ヘルスチェックで「異常」となったまま、更にインスタンスは追加されない。 【パターン1】クールダウン期間 > アプリケーション起動時間 まずは通常パターン。 アプリケーション起動時間がクールダウン期間に収まる場合はどのような挙動に
GCP AutoML Visionの画像＆ラベルを別プロジェクトへ強引に移行する
GMOアドマーケティングのy.yです。 AutoML Visionの画像とラベルをGCPの別プロジェクトに移行する必要があり 画像一枚ずつを手動で移行すると時間がかかってしまうので Export、Import機能を使い時間をかけずに強引に移行してみます。 AutoML Visionの画像分類を選択して移行を行っていきます 移行元のDatasetsを選択します EXPORT DATAを選択します csvを出力するGCS Bucketのフォルダを選択してCSVをEXPORTします EXPORTしたcsvをダウンロードします $ gsutil cp gs://移行元プロジェクト-vcm/ICN5639223719061960435/export/201909041650/export.csv ./ ダウンロードしたcsvを移行元のbucket名から移行先プロジェクトのbucket名に一括置換しま
Google Cloud認定資格Associate Cloud Engineerを受験した話
こんにちは、インフラ開発部のsandatsです。 今日はGoogle Cloud認定資格 Associate Cloud Engineerの話をします。 Google Cloud認定資格 Associate Cloud Engineerについて Google Cloud認定資格 Associate Cloud Engineerは、Google Cloud認定資格の1つです。 Google Cloud認定資格の中では初めの一歩的な位置付けで、公式から推奨される経験としては「GCPの実務経験が6か月以上」と記載がありました。 また、補足ですが2019年7月23日時点で日本語で受験できるGoogle Cloud認定資格は以下の4つでした。 Google Cloud Certified – Associate Cloud Engineer Google Cloud Certified – Prof
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
