Rails の非同期処理を Sidekiq から Cloud Tasks にリプレイスして Cloud Run のコストが6分の1になった話
成果 最終的に、Cloud Run のコストが$6/day前後から$1/day前後に！ ちなみに、Cloud Tasks は1ヶ月あたり最初の100万回のオペレーションまで無料なので余裕で収まっています。 モチベーション 今回リプレイスを検討したシステムは軽量な非同期処理が大半で、もともと絶対に Sidekiq でないと困るということが少なかった Sidekiq は Redis をポーリングしてジョブを取得する方式なので、Cloud Run で実行するには min-instances を1以上にしなければいけない 何もジョブがない状態が続いてインスタンスが0になると起こしてくれる人がいないので... 絶対に Sidekiq でないと困らないなら Cloud Tasksにして、非同期処理がない時は寝ていても良いようにしたい => コストダウン！ Pub/Sub との比較検討もしましたが今回は
GitHub ActionsからGoogle Cloudへの認証にはDirect Workload Identity Federationを使おう - Paper2 Blog
google-github-actions/authとは Direct Workload Identity Federationとは 利用方法 Workload Identity Poolを作成する Workload Identity ProviderをPool内に作成する 検証用のシークレットを作成する Workload Identity Poolに権限を付与する ワークフローを作成する まとめ google-github-actions/authとは Google Cloudの認証を実施するGitHub Actionsとしてgoogle-github-actions/authが提供されています。Actions上でgcloudコマンドなどを利用する前に認証で利用します。 このActionsではGoogle Cloud Service Account Key JSONによる認証とWorkl
TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball
ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも
Cloud Run 上のページが一部の Chrome 環境で文字化けする謎を探るべく我々は Google Cloud の奥地へと向かった
この記事は 2024 年 2 月 28 日に執筆されました．今後この問題が Cloud Run 側で修正された場合，再現しない可能性がありますのでご留意ください． TL; DR Cloud Run は執筆時現在 zstd による圧縮に対応していない ヘッダの Content-Encoding: zstd のみが削除され，ボディは圧縮されたまま応答される ブラウザはこの応答を正しく解釈できないため文字化けのような表示となる zstd による圧縮は，執筆時現在 Chrome に実装されているもののデフォルトでは無効だが近い将来に有効化される 悲劇は突然訪れる 弊社では，コーポレートエンジニアリングチーム [1] [2] において，社内向けにいくつかのサービスを提供しています． これらのサービスはもともと AWS でホストされていましたが，アクセス制限に Identity-Aware Proxy
Cloud Run のための実践 Cloud Deploy
はじめに 本記事では実践的な Cloud Run のデプロイパイプライン実装を通して Cloud Deploy の理解を試みます。Cloud Deploy は元々 Kubernetes 用のプロダクトとしてリリースされたこともあり、Cloud Run に限って利用するには学習コストが高すぎるところもあります。本記事では Cloud Run のデプロイの本番環境構築・運用に必要な部分のみをピックアップして次のようなことを説明します。 Cloud Deploy の仕組み Cloud Deploy を使ったデプロイパイプラインの設計・実装方法 Service Account、IAM 設計 おすすめの Infra as Code の方法 おすすめの skaffold.yaml の書き方 Automation、デプロイフック、カナリアデプロイなどの高度なパイプライン、監視などは上記のような基本をおさ
AWS側の目線から理解する、Google Cloud ロードバランサの世界 - How elegant the tech world is...!
はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？ 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅
Cloud Run で作るサーバーレス アーキテクチャ 23 連発 - これのときはこう！
2023年は「Cloud Run を触って覚える」をテーマとした ひとりアドベントカレンダー を開催しており、Cloud Run のさまざまな機能や Cloud Run でよく使う構成などをご紹介しています。 最終日、25日目は Cloud Run を中心としたサーバーレス アーキテクチャをいくつか紹介します。2023年にちなんで23個のアーキテクチャを用意しました。 Cloud Run の概要は「gihyo.jp」で解説していますので、こちらもぜひご覧ください。 Web アプリケーション + API の 3-Tier 構成 (SPA) Web アプリケーション + API の 3-Tier 構成 (SPA) SPA (Single Page Application) がフロントになり、バックエンドの API サーバーとして Cloud Run を使用するアーキテクチャです。SPA は N
あえて手動アップグレードを選ぶ〜マネージドサービス(GKE)で手作業による対応をした話〜 - MonotaRO Tech Blog
こんにちは。データ基盤グループ データエンジニアリングチームの宮口です。 この記事ではGoogle Cloud Platform（以下、GCP）のサービスの1つであるGoogle Kubernetes Engine（以下、GKE）のクラスタを手動アップグレードした話を紹介します。 私が所属するデータエンジニアリングチームでは、社内システムに保存されたデータをGCPのBigQueryにニアリアルタイムで同期するシステムや、BigQueryに保存されている大容量のデータを低レイテンシなAPIとして提供するシステムなど、モノタロウのビジネスを裏側で支えるシステムの管理を行っています。それらのシステムは全てのコンポーネントをコンテナ化しており、その実行環境としてGKEを採用しています。 また、それとは別に社内でGKE共通環境と呼んでいる、マルチテナント方式のクラスタによるアプリケーション実行基盤を
Cloud FirestoreからPostgreSQLへ移行したお話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースであるCloud Firestoreを当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が掛からず、また安価でスケーラビリティにも優れたハイパフォーマンスなデータベースです。 しかし、Cloud Firestoreを使用して開発・運用していく中で直面した様々な課題からGCPのフルマネージドのリレーショナルデータベースであるCloud SQLのPostgreSQLにデータベースのリプ
任天堂：新しい汎用ゲームサーバーを Google Kubernetes Engine、Cloud Spanner などを駆使して構築 | Google Cloud 公式ブログ
任天堂：新しい汎用ゲームサーバーを Google Kubernetes Engine、Cloud Spanner などを駆使して構築 世界中で愛好されている任天堂株式会社（以下、任天堂）の家庭用ゲーム機「Nintendo Switch」。そのオンライン マルチプレイを担う汎用ゲームサーバーの動作基盤に新たに Google Cloud が採用されました。多くのユーザーとの通信を処理しなければならないこの仕組みを、なぜ Google Cloud 上に構築したのか。どのような工夫を施すことで、安定性・可用性と運用負担の軽減を両立させたのか。構築に携わったエンジニアのお二人に話を伺いました。 利用しているサービス： Google Kubernetes Engine、Agones、Anthos Service Mesh、Cloud Spanner、Cloud Load Balancing、Cloud
Google Cloud Next '22 で GAが発表されたCloud DeployによるCloud Run へのデプロイ(その1) - Qiita
Google Cloud Next '22 で GAが発表されたCloud DeployによるCloud Run へのデプロイ(その1)GoogleCloudNextGoogleCloudCloudRunCloudDeploy はじめに Google CloudNext ’22 で発表された内容の新サービスや、新たな機能について、できるものを実際に動かしてみたいと思います。 ちなみに新たに公開されたものとしては以下のように纏められているブログがありますので、こちらベースでみていきます。 今回はGAされた Cloud Deploy での Cloud Run へのデプロイについて動かしてみます。 Google Cloud Deploy について もともとはGKEやAnthosへのDeployに対応していたもののようで今回 Cloud Run へ対応しました。 Cloud Deploy 自体は
GCPのWorkload Identityを使ってAWSのRoleとGCPのサービスアカウントを連携させる
GCPのWorkload Identityを使ってAWSのRoleとGCPのサービスアカウントを連携させる 2022.12.09 技術 AWS, GCP 動機と解決法 サービスアカウントのシークレットキーjsonをEC2上に置くのやだなー（何かの拍子に流出とかしたらめんどいなー） アクセス元のバッチがAWSにあるんだから、asumerole的なことがAWSとGCPをまたいでできれば便利なんだけどなー という動機から、表題の通り Workload Identity を使って、AWS IAM Role と GCP Service Account を連携させました。 Workload Identity連携 とは？ Workload Identity 連携は、キーなしの新しいアプリケーション認証メカニズムであり、オンプレミス、AWS、Azure で実行するワークロードは、外部 ID プロバイダ（I
スプラトゥーン3をパケットキャプチャーで解析、最新の通信技術を学ぼう
人気の「スプラトゥーン3」を通して、最新の通信技術の基本を学んでしまおうというこの特集。今回は実際にスプラトゥーン3のパケットをWiresharkでキャプチャーして、UDPの通信やNAT越えの仕組みを見ていきます。 なお記載内容については、実際の通信をキャプチャーした結果に基づいた筆者の考察や推測によるものであり、任天堂の公式見解ではないことを記しておきます。 任天堂が開発した汎用ゲームプラットフォーム「NPLN」 スプラトゥーン3では、「NPLN」という、任天堂がスクラッチから開発をした任天堂プラットフォーム向け汎用ゲームサーバーが使われ始めました。従来のプラットフォームである「NEX」はニンテンドー3DS／Wii Uからの世代で使われてきて、NPLNはそこでのノウハウを基に2021年から「Google Cloud Platform（GCP）」で稼働しているようです。オンライン対戦のマッ
Workload Identityを用いてEKSクラスタからGoogle Cloudへアクセスする｜クラウドテクノロジーブログ｜ソフトバンク
Workload Identityを用いてEKSクラスタからGoogle Cloudへアクセスする</h1>\r\n"}}" id="text-ab457b19a4" class="cmp-text"> Workload Identityを用いてEKSクラスタからGoogle Cloudへアクセスする <b><span class=\"biz-smb-fs-p1\">クラウドエンジニア<br>\r\n 三改木 裕矢</span></b></p>\r\n<p>ソフトバンクのMSPサービス上で提供するKubernetes基盤の開発を行っています。前職ではパブリッククラウド上に機器データの収集・分析システムを構築し運用していました。競技プログラミングと片付けが趣味です。（<a href=\"https://twitter.com/_uya116\">@_uya116</a>）</p>\r\n<p
Google Cloud Logging Python v3.0.0 スタートガイド | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 2 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。 このたび、Google Cloud Python Logging ライブラリのメジャー アップデートをリリースしましたのでお知らせいたします。 v3.0.0 では、Python のデベロッパーは Google Cloud からさらに簡単にログを送受信でき、アプリケーションの状況をリアルタイムに把握できるようになりました。 Google Cloud を使用している Python デベロッパーの皆さんは、この機会にぜひ Cloud Logging をお試しください。 「google-cloud-logging」ライブラリに馴染みのない方でも、簡単に始められます。まず、pip を使ってライブラリをダウンロードします。
GKE 上にて Pythonで logger.info() を行うとCloud logging では stderr に保存され、すべてエラーになる問題への対処法
GKE 上にて Pythonで logger.info() を行うとCloud logging では stderr に保存され、すべてエラーになる問題への対処法 2021-03-03 Python のアプリケーションで、Cloud logger にログを出力したいときに 標準の Python logging モジュールを利用して、ログを出力するPython Cloud Logging package を使用する上記の２つの方法があります。 不必要にパッケージを増やしたくはないので、1 の標準モジュールで Cloud Logger へ出力できないか試してみました。 標準の Python logging モジュールを試す標準の logging モジュールでログを出力したいときに import logging logger = logging.getLogger(__name__) def ho
Shift FinOps Left with Infracost
Shift FinOps Left Know the cost impact of cloud infrastructure changes before launching resources. Built into engineering and product workflows Changes that break budgets trigger approval workflows Ensures FinOps tags are applied correctly Build FinOps best practices into your workflow (e.g., GP2 to GP3 volumes)
Terraform で GCP のサービスアカウントを管理する - Eng (なりたい)
なぜ書いたか やりたいこと tl;dr 特定サービス（の全リソース）に対する権限を付与したい 特定サービスの特定リソースに対しての権限を付与したい まとめ おまけ google_service_account_iam_member がややこしい なぜ *_iam_member を使うのか 参考 なぜ書いたか Terraform Google Provider のIAM周りのリソースはたくさんある。 google_project_iam_policy google_project_iam_binding google_project_iam_member google_service_account_iam_policy google_service_account_iam_binding google_service_account_iam_member google_cloud_run_
データサイエンティストだけでAI開発を加速する「Light MLOps」 “エンジニア不要”のメリットとデメリット
AIや機械学習アルゴリズムの開発手法の一つである「MLOps」（エムエルオプス）という手法が、いま注目を集めている。ソフトウェア開発者と運用担当者がお互いに協力することで開発を迅速に進める取り組みや文化である「DevOps」の「ソフトウェア」の部分を「機械学習」に置き換えたものをMLOpsと称し、AIを自社開発する企業での導入が始まっている。 MLOpsでは、AI開発に関わるデータサイエンティストや機械学習エンジニアなどが連携し、AIの開発、運用を行う。そうすることで、複雑なワークフローを構築しても管理や自動化が容易になり、開発が加速化するなどの利点が生まれる。 ただし、企業の体制によってはこの実施が難しい場合もある。エンジニア側に工数が集中することもあれば、データサイエンティストが機械学習モデルの作成に集中できないこともあるからだ。 こうした課題を解決する方法として、「Light MLO
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Terraform で GCP IAM 設定どれ使うのがいいのか - pokutuna
