データベース移行を任された話 - Qiita
はじめに 担当しているプロダクトでは，DB（PostgreSQL）として Google Cloud の Cloud SQL が使われていました．前々から DB 周りのパフォーマンスを上げたい話があり，より優れているサービスである Google Cloud の AlloyDB へのデータベース移行をやらせていただくことになりました．データの移行をやったことがない状態から，実際に取り組んでみて学んだこと・振り返りなどを記録します． 移行方法の検討 Cloud SQL から AlloyDB へデータベースを移行するのにあたりまずはどの方法で実施するのかを調査し，以下の 3 つの方法を検討しました． CSV や dump ファイルを利用する方法 Cloud SQL のバックアップを利用する方法 Database Migration Service を利用する方法 2 と 3 番目の方法はそれぞれ
改めて学ぶ Cloud Run の認証とネットワーク
この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 16 日目の記事です。 本記事では Cloud Run の入門記事として Cloud Run の認証とネットワークについて改めて整理できればと思います！ Cloud Run とは Cloud Run は、Google Cloud が提供するフルマネージドのサーバーレス プラットフォームでコンテナ イメージをビルドできるものであれば、任意のプログラミング言語で記述されたコードをデプロイすることができます。Cloud Run の特徴や機能に関しては下記の記事にも掲載されておりますので、是非ご覧ください。 ネットワークセキュリティ Cloud Run では、Cloud Run サービスに対する上り（内向き）のトラフィックを「内部」、「内部と Cloud Load Balancing」、「す
マルチテナントなWebサービスでデータベースをBigQueryからPostgreSQLに移行してRow Level Securityを導入した - エムスリーテックブログ
こんにちは。AI・機械学習チームの高田です。 マルチテナント構成のWebサービスでは、データの分離とセキュリティを確保することが非常に重要です。マルチテナント構成とは、1つのシステムやアプリケーションを複数の顧客（テナント）で共有する設計アプローチを指します。 今回は、当社のあるプロダクトで行った2つの改善施策について紹介します。 BigQueryからPostgreSQLへの移行: より効率的なデータアクセスとコスト削減 Row Level Security（RLS）の導入: データベースレベルでのセキュリティ強化 これらの施策により、セキュリティ向上とコスト削減の両方を実現できた事例を解説していきます。 なぜ移行したのか テナントID分離型を採用 移行前のアーキテクチャ 移行後のアーキテクチャ PostgreSQLテーブル構築のためのバッチ処理の実装 PostgreSQLクエリの最適化
Google CloudのTerraform職人が失職する機能が出てしまった……
Google CloudがApplication Design Centerという、構成図を書けばTerraformを書いて、デプロイまで行う機能をリリースしました。[1] どうやらGoogle CloudはTerraform職人を失職に追い込みたいようです。 Application Design Centerの概要 アプリケーション デザイン センターは、Google Cloud アプリケーション インフラストラクチャの設計、共有、デプロイに役立ちます。アプリケーション デザイン センターを使用すると、アプリケーション テンプレートを設計し、開発者と共有し、インスタンスをデプロイして、設計を進化させることができます。 つまりApplication Design Centerはインフラ構成図の設計・共有・デプロイを補助するツールで、アプリケーション開発者やプラットフォーム管理者が効率的に管
Githubのプルリクエスト単位で動作確認用のURLを発行する - VISASQ Dev Blog
2月から急に寒くなりましたが、皆様いかがお過ごしでしょうか。 先般、皆様ご存知不朽の名作、Kingdom Come: Deliveranceの続編が遂に発売されましたね。私は今始めると人間性を失ってしまいかねないため、もう少し人生が落ち着いた頃合いに手を付けようと何とか我慢しています。早く無力な凡夫ヘンリーを最強の男にしたいし、ひたすら野に咲く薬草を摘んで錬金術師としての人生も送りたい。 さて、みなさんはこう考えた事はありませんか？ 手元の作業ブランチをstagingブランチにマージする前に、検証環境で動作確認ができればいいのに、と。 あったらいいのに 弊社のアプリケーションは Google Cloud 上の Cloud Run で動作しています。 従来よりデプロイごとにユニークなURLを発行しており、作業ブランチをstaging環境にデプロイする仕組みもあるため、簡単な動作確認は実施でき
Cloud SQL のデータを定期的に GCS へバックアップする仕組みを整えました - VISASQ Dev Blog
はじめに こんにちは！基盤チームの高畑です。 最近シロカのコーヒーメーカーを買ってからというもの、1 日に 5 杯くらいコーヒーを飲み続けてしまっておりちょっと飲み過ぎなのではないかと危機感を覚えています。 手軽にコーヒーが淹れられてしまうのも考えものですが、美味しいので仕方がないと自分に言い聞かせながら今もコーヒーを淹れています。 みなさん、Cloud SQL のバックアップを定期的に行うといえば、まず思い浮かぶのは自動バックアップ機能を利用することだと思います。 しかし、この自動バックアップはあくまで「インスタンスが存在していること」が前提で、仮に Cloud SQL のインスタンスが削除されてしまった場合にバックアップもろとも削除されてしまい復元ができないといった状態に陥ってしまいます。 AWS の RDS であればスナップショットを定期的に取っておくことでインスタンスが削除されてし
モジュールのimportが原因でCloud Run上のNode.jsアプリケーションの起動が遅いの時の対処方法
こんにちは、バックエンドエンジニアの飯沼です。私たちが開発している旅行アプリ『NEWT（ニュート）』のAPIはNode.jsで動かしています。モノリシックな構成で約2年半ほど機能拡張を続けた結果、いつの間にかAPIの起動速度は30秒近くまで遅くなってしまいました。ここまで遅くなるとセールなどのイベントでトラフィックが急増した際に、APIインスタンスのスケールアウトが間に合わずエラーを返す割合が高くなってきます。 この記事では、起動速度が遅い問題を解決するために行ったことを、後学のために過程も含めて共有します。今回の内容は業務委託で協力してくださった與那城さんによる取り組みです。（ありがとうございます！！） なお、今回の改善対象のアプリケーションの実行環境や規模は以下の通りです。 実行環境：Cloud Run (Second Generation / 2024年12月頃) Node.jsバー
Cloud Build での Next.js のビルドを最適化する
はじめに Zenn のプロジェクトでは、フロントエンドに Next.js を使っています。実行環境は Google Cloud の Cloud Run で、ビルドは Cloud Build で行っています。 以降、すべてステージング環境の話となります。 Cloud Build は、GitHub の 特定のブランチの push をトリガーとして、Next.jsのビルドを行い Dockerイメージを作成し、リポジトリに push します。その後、Cloud Run に新しいリビジョンを作成し、新しいDockerイメージをデプロイします。 この一連の処理に、平均して 8 分程度かかっていました。 さすがに長いと思い、最適化を試みた結果、平均して 3 分 20 秒 程度まで短縮することができました。 先に結論 効果があった変更点は、以下の通りです。 Cloud Build のロケーションを、Art
Cloud Run 関数でのFunctions Framework導入まとめ(TypeScript)
はじめに Cloud Run 関数について Functions Frameworkについて コードサンプル ディレクトリ package.json tsconfig.json index.ts トリガー別のCloud Run関数 HTTP関数 ローカルでのテスト(HTTP関数) デプロイ(HTTP関数) Cloud Storage イベント ローカルでのテスト(Cloud Storage イベント) デプロイ(Cloud Storage イベント) Pub/Sub ローカルでのテスト(Pub/Sub) デプロイ(Pub/Sub) 終わりに はじめに こんにちは。GMO NIKKO の KONCE です。 今回は Cloud Run 関数について Functions Framework と TypeScript を導入する機会があったので方法と Cloud Run 関数のそれぞれのトリガーに
重複したIAM、拒否と許可どっちが優先？アクセス制御の特性をAWS・Google Cloud・Azure・Firebaseそれぞれについて理解する - GMO Flatt Security Blog
はじめに こんにちは、セキュリティエンジニアの@okazu_dm です。 突然ですが、皆さんは以下のクイズに自信を持って回答できるでしょうか。これはSRE NEXT 2023で弊社が出題したクイズなのですが、それぞれのポリシーに存在するAllow, Denyのうちどれが優先されるかがポイントになります。 クイズの答えはここをクリック クイズの正解は......「④なし」でした。AWSのIAMポリシーは拒否(Deny)優先です。しかし、それは他のクラウドサービスでも果たして同じでしょうか？ 今回の記事では、各種クラウドサービスにおけるアクセス制御について焦点を当てます。具体的には「それぞれのアクセス制御は拒否優先なのかどうか」を調査しました。 リソースに対するアクセス制御は、クラウドサービス上でシステムを構築する際のセキュリティの根幹となる要素です。特に近年のクラウドサービスは、IAM(Id
Identity-Aware Proxy（IAP）を利用したローカル環境での開発体験の向上 - Mirrativ Tech Blog
こんにちは、バックエンドのリードエンジニア兼バックエンド基盤チームのマネージャーの夏（なつ）と申します。バックエンド基盤チームは、バックエンドエンジニアの生産性向上やコスト削減を目的に、エンジニア主導で課題を発見・解決している部署です。 今回は基盤チームが行った、Google CloudのIdentity-Aware Proxy（IAP）を利用したローカル環境での開発体験の向上について紹介したいと思います。この改善により、ローカル環境（Mac）上でも開発環境のデータを参照しながら開発が行えるようになり、開発体験が大幅に向上しました。 背景 基盤チームでは定期的にバックエンドチームのメンバーに対して「開発者体験に関するアンケート」を実施しています。基盤チームにとっての直接のユーザはバックエンドメンバーであるため、生の声を聞くことで、現在解決しようとしている問題や開発リソースの配分、優先順位が
AWSとGCP におけるセキュリティの勘所 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWSやGCPを利用する際によく対面するセキュリティ対応について各クラウドでのソリューションを比較しながら、サービスや方針についてまとめました。 この記事の範囲 主に、Webサービス／アプリ開発でのクラウド利用におけるセキュリティについての話がメインです PCI DSS とか ISMS とかの難しい話はしません(というかできないよ\(^o^)/) パブリッククラウドにおけるセキュリティ パブリッククラウドにおいて、まず最初に押さえるべきは「責任分担モデル」です。簡単にいうと、**クラウドサービス自体の運用に関しての責任はクラ
Cloud RunがIAPでよりお手軽に認証できるようになりました！
注意 この機能は2024年11月3日現在、まだPrivate Previewのため、利用申請が必要です。 申請方法はGoogle担当者にご相談ください。 IAPとは Identity-Aware Proxy（IAP）はGoogle Cloudが提供するセキュリティ機能で、特定のユーザーのみがリソースにアクセスできるように制御するプロキシサービスです。 これまではCloud RunでIAPによる認証を利用するにはCloud Load Balancerを構築する必要がありましたが、今回のアップデートによりCloud Run単体でIAPを設定できるようになりました！ 手順 今のところはgcloudコマンドからしか設定できないようなので、Cloud Shellで実行します。 IAP用サービスアカウントの作成と権限付与 まず、IAPに必要なサービスアカウントを作成し、「run.invoker」権限を
Cloud Profilerを使ってNode.jsのメモリリークの原因を特定する
Node.js のサーバーにおいて、メモリリークの原因の特定に Cloud Profiler を使って解決したので経緯などを含めて紹介します。 現象 Node.js のサーバーで、デプロイ後にメモリ使用量が増えていき、一定を超えると戻るという現象が発生していました。 このメモリ使用量が落ちているところのログを確認したところ FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory というログとともにプロセスが再起動していることがわかりました。明らかにメモリリークしてそうです。 原因をつきとめる まずは現象を再現するために、ローカルやテスト環境に負荷をかけて試してみたんですが、再現できませんでした。そこで本番環境でプロファイルをとって原因を探
シンデレラのように魔法がとけないうちは本番環境にアクセスできるようにしてみた - NTT docomo Business Engineers' Blog
この記事では、できるだけアクセスを絞るべき本番環境に対して、かのシンデレラのように時間制限つきの承認性アクセスができるようにした事例を紹介します。 目次 目次 はじめに 背景 複数の環境 これまでの運用 課題 実現方法 実装 - Google Cloud IAM 設定スクリプト 設定 - GitHub Environments 実装 - GitHub Actions その他細かな工夫点 ゴミ掃除 Slack 連携 サービスアカウントキーの発行 運用を変えてみて おわりに はじめに こんにちは、NeWork 開発チームの藤野です。普段はオンラインワークスペースサービス NeWork のエンジニアリングマネジメントをしており、最近では実際にコードを書く機会も増えてきています。 この記事では、これまで手動 + ガッツで運用していた本番環境へのアクセス管理の工程のほとんどを自動化した内容をご紹介し
Google Cloud Run と AWS Lambda のコールドスタート時間を言語別に観察してみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? コンテナをリクエスト処理時間ベースの料金体系で実行できるサーバレス環境としては、Google の Cloud Run（2019年11月GA）と AWS Lambda（2020年12月にコンテナに対応）が特に有名でしょう。 これらの環境は、一度起動したコンテナインスタンスをしばらく生かしておき、その後のリクエストに使いまわします。しかし、生きているインスタンスが足りない場合は新たなコンテナの起動から始めるいわゆる「コールドスタート」となり、応答のオーバーヘッドが大きく増加します。用途によっては、このコールドスタートにかかる時間が問題になり
個人開発者がGoogle Cloudの環境構築でお財布を守るために最初にすべきこと - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 初めに 自分は2年くらい業務でGCP(今はGoogle Cloudですね)を使っていたのですが、友達が個人開発でGoogle Cloud使いたいから手伝ってとのことで、久々にコンソール触りたいなーと思ったので環境構築を手伝うことにしました。友達のクレジットカードが紐づいた環境なので自分の環境以上に課金やセキュリティに対して注意しなくてはなりません。課金だけでなく友情も爆発してしまいかねませんので 今回は最初期から構築するということで個人開発者向けにお財布や環境を守るうえでの最初にやったほうがよい課金のセーフティ的な設定をまとめていきたい
GitHubとGoogle Cloud Build の連携を試してみた！ – google-cloud-jp – Medium
[画像出典] The GitHub Blog : GitHubとGoogle Cloud BuildでCIプロセスをシンプルにこのIntegrationにより、GitHubにソースコードをpushする度に、自動的にビルドが実行され、その結果がGitHub のPull Requestで確認することができます。 簡単な設定だけで、CI（Continuous Integration: 継続的インテグレーション）プロセスをシンプルにすることができます！！ しかも、全リポジトリを対象にしておくと、新しいリポジトリを作った際も、追加の設定は不要で自動でビルドが実行されます。もちろん、設定済みのリポジトリについて、Pull Request / ブランチを作った際にも、個別のジョブ作成は不要です！ CIを実現する上での課題github.com を利用して開発を行う場合、自環境 / SaaSなどを利用し、自
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Zenn のウラガワ ~エンジニアのアウトプットを支える環境で Google Cloud が採用されているワケ~ #burikaigi #burikaigi_h
実践セキュリティ監視基盤構築
