Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは日々複数のGoogle Cloudプロジェクトを管理しています。これらのプロジェクトでは、データサイエンティストやプロジェクトマネージャーなど別チームのメンバーが作業することもあり、必要に応じてメンバーのGoogleアカウントへ権限を付与しています。 権限の付与はプロジェクトの管理者であるMLOpsブロックメンバーが行いますが、これは頻繁に発生する作業でありトイルとなっていました。 また権限付与後はこれらを継続的に管理し、定期的に棚卸しすることで不要になった権限を削除する必要があります。しかし当初の運用だと権限の棚卸しの対応コストが大きく、これが実施されずに不要な権限が残り続けるという課題もありました。 本記事ではMLOpsブロックで抱えていたGoogle Cloudプロジェクト内での権限管理における
Google、AWS Nitro対抗の独自開発したクラウド基盤システム「Google Titanium」投入を発表
Google、AWS Nitro対抗の独自開発したクラウド基盤システム「Google Titanium」投入を発表 Google Cloudは、同社専用に開発したカスタムチップやソフトウェアなどにより構成されるクラウド基盤システム「Titanium」の投入を、先日開催されたGoogle Cloud Next '23で発表しています。 Titaniumは、Googleが独自に開発したカスタムチップとソフトウェアから構成されたシステムです。 クラウドの基盤を構成するホスト上では、セキュリティを保証する処理、仮想化ハイパーバイザの処理、ネットワークやストレージへのアクセスや暗号化などを含むI/Oの処理などが行われます。 Titaniumを用いてクラウド基盤を構成するホストからこれらの処理をオフロードすることで、サーバの能力をより多くユーザーインスタンスに振り分けることが可能になり、全体としてクラ
AWS 上で Google Cloud ワークロード向けのディザスタリカバリサイト構築 (Part 1) | Amazon Web Services
Amazon Web Services ブログ AWS 上で Google Cloud ワークロード向けのディザスタリカバリサイト構築 (Part 1) ディザスタリカバリ (DR) 戦略を有することはビジネスの継続性やお客様のワークロードのレジリエンスの面において重要な要素です。レジリエンスとは、お客様のアプリケーションとそれを支えるインフラストラクチャが一貫して意図された通りに正しく実行し続ける事を意味します。 プライマリワークロードをクラウドで稼働させているお客様が DR のために別のクラウドプロバイダーを使用する場合があります。その理由としては、コンプライアンスや規制要件、あるいはお客様の組織でマルチクラウド戦略の採用を義務付けているためかもしれません。 この2部構成のブログシリーズでは、1例としてGoogle Cloud Platform (GCP) でホストされているサンプルア
Google Cloud、エンタープライズ向け高性能DB「AlloyDB for PostgreSQL」正式サービスとして提供開始、Amazon Aurora対抗の位置づけ
Google Cloud、エンタープライズ向け高性能DB「AlloyDB for PostgreSQL」正式サービスとして提供開始、Amazon Aurora対抗の位置づけ Google Cloudは、エンタープライズ向けの高性能データベースサービス「AlloyDB for PostgreSQL」を正式サービスとして提供開始しました。 AlloyDB for PostgreSQL is generally available Modernize your enterprise database workloads and build new, scalable applications. AlloyDB combines full PostgreSQL compatibility with the best of Google. Read more https://t.co/NFFBSMz
HashiCorp Terraform を使用した、コードとしての IAM アクセス制御の実装 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 12 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。 今日のデジタル トランスフォーメーションには、セキュリティ トランスフォーメーションが欠かせません。Google Cloud のセキュリティ戦略における防衛の最前線として、Identity and Access Management（IAM）を活用できます。IAM は、Google Cloud アカウントのリソースに対して、どのユーザーがどの処理を実行できるかを管理者が定義できるようにするツールのコレクションです。組織のどのユーザーがどのリソースにアクセスする必要があるかを把握することは、安全なクラウド エクスペリエンスを実現するための最初のステップの一つです。 IAM で制御できるのは、ユーザーとグループだけではありません。ユーザーとグループを指定したら、どのようにア
BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場
BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。 オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。 To stay compet
Google Cloud、動的にブロックストレージのIOPSとスループット性能をそれぞれ設定できる「Hyperdisk」など発表
Google Cloud、動的にブロックストレージのIOPSとスループット性能をそれぞれ設定できる「Hyperdisk」など発表 Google Cloudは9月9日に開催したオンラインイベント「A Spotlight on Storage」で、エンタープライズ向けに4種類のストレージサービスを発表しました。 Google Cloud Hyperdisk Google Cloud Hyperdiskは、動的に性能を変更可能なブロックストレージです。IOPSとスループットをそれぞれ独立して動的に設定変更できるため、アプリケーションを運用していくなかでストレージ性能への要求が変化した場合でも、変化に合わせたIOPSやスループットを設定できます。 Autoclass AutoclassはオブジェクトストレージであるGoogle Storageの新機能です。オブジェクトへの最終アクセス時期やポリシー
Google Cloud、Google Distributed Cloudにオンプレミス用の「Anthos on-premises」を「GDC Virtual」として統合
Google Cloud、Google Distributed Cloudにオンプレミス用の「Anthos on-premises」を「GDC Virtual」として統合 Google Cloudは、これまで同社のハイブリッドクラウド戦略を実現する製品としてオンプレミス用に提供してきた「Anthos on-premises」の製品名を「Google Distributed Cloud Virtual」（GDC Virtual）に変更し、Google Distributed Cloudブランド傘下の製品として位置づけ直すことを明らかにしました。 New update to our Google Distributed Cloud portfolio Google Distributed Cloud Virtual: a software-only solution that brings o
データ分析基盤におけるオブザーバビリティの取り組み
GMOペパボ株式会社では主にGoogle Cloud Platformのサービスを利用してデータ分析基盤を構築し運用しています。その中心となるのがデータウェアハウスのBigQueryとワークフローエンジンのCloud Composerです。また、社内向けのデータ可視化(ダッシュボード)システムではCloud Runを利用しています。 データ分析基盤から得られる情報を重要な意思決定に用いるためには、ユーザーに提供しているインフラと同様に、可用性を明らかにし、継続的に可用性を高める Realiability エンジニアリングが必要となります。本講演ではGCPで構築されているデータ分析基盤を題材として、データ分析基盤に求められる可用性や、小規模なチームにおけるオブザーバビリティへの取り組みについてご紹介します。
Google Cloud、分散クラウドを実現する「Google Distributed Cloud Edge」正式リリース。いわばGoogle Cloud版のAWS Outposts
Google Cloud、分散クラウドを実現する「Google Distributed Cloud Edge」正式リリース。いわばGoogle Cloud版のAWS Outposts Googleは、エッジでワークロードを実行可能にするハードウェアとソフトウェアのフルマネージドサービス「Google Distributed Cloud Edge」の正式リリースを発表しました。 これはいわば、Google Cloud版のAWS Outpostとも言うべきもので、Google Cloudがアプライアンスやラックを提供し、それをユーザー自身のデータセンターや通信キャリア、Googleのネットワークエッジに配置。そこでワークロードを処理することで、低レイテンシが要求されるワークロードや、クラウドへの転送が望ましくないセンシティブなデータのローカルな処理などを実現します。 エッジ用のハードウェアとし
Automation of Terraform for AWS | メルカリエンジニアリング
本投稿は DPE Camp blog series の一部です。 こんにちは。 Platform Infra の Kenichi Sasaki (@siroken3) です。メルカリでは主にAWSの管理を業務にしています。今回の投稿ではAWS構成管理リポジトリのセキュアなCI/CD環境を構築した件について紹介します。 背景 メルカリにおけるAWSの役割 メルカリにおけるAWSの利用の歴史は古く、商品画像を格納するためのストレージとしてS3をサービス開始当初から採用しています。その他S3はMySQLデータベースのバックアップ先、パートナー各社様とのデータ連携のための AWS Transfer Family のバックエンドとして使用しています。また2014年当時のUSメルカリのサービス開始時のメインインフラはAWS上にありました。 直近ではお客さま電話窓口やサポート担当の稼働管理ツールとして
大規模分散DBのCloud Spannerが、RailsのActive Recordに対応。スケーラブルで高可用なRubyアプリケーションの開発が容易に
Googleは、同社がクラウドサービスとして提供しているCloud SpannerをRailsのActive Recordに対応させるアダプタ「activerecord-spanner-adapter」が正式版となったことを発表しました。 Cloud Spannerは、Googleの多数のデータセンターにまたがる地球規模で大規模分散処理を行うリレーショナルデータベースです。事実上無制限とされる高いスケーラビリティと99.999％の高可用性を備えつつ、強い一貫性とトランザクション処理、SQLによるクエリなどを実装しています。 メルカリの決済サービスであるメルペイがバックエンドデータベースにCloud Spannerを採用し、数百万ユーザーの処理を行っているとされています。 このCloud SpannerをRailsのActive Recordのバックエンドデータベースとして使えるようにするア
KubernetesのPod利用料金が最大で91％値引きされる「Spot Pods for GKE Autopilot」、Google Cloudが発表
KubernetesのPod利用料金が最大で91％値引きされる「Spot Pods for GKE Autopilot」、Google Cloudが発表 Google Cloudは、Kubernetesでアプリケーションを実行するPodの料金が60％から最大91％まで値引きされる新サービス「Spot Pods for GKE Autopilot」をプレビュー版としてリリースしました。 Autopilot is already great at running stable, production-grade workloads and is backed by a Pod-level SLA—a first for GKE. Now we're introducing Spot Pods to save you money on your fault-tolerant workloads
Google、大規模分散DB「Spanner」にPostgreSQL互換インターフェイスを実装。強い一貫性で秒間10億以上のリクエストを処理可能。Google Cloud Next '21
GoogleはGoogle Cloudで提供している大規模分散データベース「Cloud Spanner」に、PostgreSQL互換のインターフェイスを実装したと発表しました。 At #GoogleCloudNext, we've announced the preview of Cloud Spanner’s PostgreSQL interface—combining the scalability & reliability of Spanner that enterprises trust with the familiarity & portability of PostgreSQL that dev teams . Take a deeper dive ↓ https://t.co/Y3xD1lDPLg — Google Cloud Tech (@GoogleCloudTech
［速報］Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21
［速報］Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21 Googleは、Google Cloudの能力をオンプレミスやエッジロケーションにまで拡大して提供する「Google Distribute Cloud」として、 「Google Distribute Cloud Edge」と「Google Distributed Cloud Hosted」を発表しました。 日本時間で13日未明に開幕する同社のオンラインイベント「Google Cloud Next '21」で詳細が説明される予定です。 Google Distributed Cloud Hostedは、オンプレミスのデータセンターに置いたサーバ上でGoogle Cloudが提供しているデータベースや機械学習、コンテナ管
Dockerコンテナをサーバレス化する「Google Cloud Run」で、非同期処理やバックグラウンドタスクなどが実行可能に
Googleは、Dockerコンテナをサーバレスで実行するサービス「Cloud Run」の新機能として、非同期処理などを可能にする「CPU allocation on Cloud Run」機能をプレビューとして発表しました。 非同期処理などが難しかったCloud Run サーバレスコンピューティングでは一般に、何らかのイベントやリクエストをトリガーにインスタンスが起動し、処理が終わるとインスタンスが終了します。 Google CloudのCloud Runではこうした処理をDockerコンテナで実現するサービスです。HTTPやgRPCなどによるリクエストによってあらかじめ用意されていたDockerコンテナが起動し、レスポンスを返したところでDockerコンテナが終了してCPUの割り当てが解放されるようになっています。 そのため、Cloud Runでは処理を非同期にしてレスポンスを先に返し、
Google、訂正不可能なメモリエラーによるクラッシュを回避する「Memory Poisoning Recovery」をGoogle Cloudで提供へ
Google、訂正不可能なメモリエラーによるクラッシュを回避する「Memory Poisoning Recovery」をGoogle Cloudで提供へ ずっと安定して稼働していたシステムが、ある日突然エラーでクラッシュ。調べても原因が分からないので、「何らかのノイズや放射線などの影響でメモリエラーが起きたのでは？」という推測を顧客に報告した、なんて経験を持つベテランのITエンジニアは少なくないのではないでしょうか。 実際のところ、2009年のGoogleの調査では同社の本番システムにおいて、1年間で8％以上のDIMMモジュールにメモリエラーが発生していたと報告されています。想像以上にメモリエラーというのは起きているのですね。 ただし、現代のメモリとCPUなどではエラー訂正機能を備えているため、多くのメモリエラーは訂正され、システムの動作に影響を与えないようになっています。 しかし訂正しき
Anthos on GKE を Terraform でデプロイする パート 1: Config Sync による GitOps | Google Cloud 公式ブログ
Anthos on GKE を Terraform でデプロイする パート 1: Config Sync による GitOps ※この投稿は米国時間 2021 年 8 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 Anthos Config Management（ACM）は、クラウド プラットフォームの管理者にクラスタの構成を効率化するためのさまざまな手法を提供します。ACM の機能の 1 つである Config Sync では、Git リポジトリを使用して共通の構成を作成し、それをフリート内の Kubernetes クラスタに自動的に適用することで、構成管理で慣れ親しんだコードレビューの共同作業プロセスを実現できます。ACM のもう 1 つの機能である Policy Controller は、組織の要件を遵守したセキュリティ ガードレールを適用します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSが落ちてもGCPに逃がすことで落ちないシステムを作る技術
Dataform | Manage data in BigQuery
