Google Cloudのサーバレスなサービスでデータ基盤を作った話.
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
クラウドセキュリティ製品を触ってみた
みなさん、こんにちわ！初投稿のドリアです。 2011年にAWSの東京リージョン、2016年にGCPの東京リージョンが開設されてから クラウド環境を利用する機会も増えたのではないでしょうか。 柔軟なインフラリソースの活用に加えて様々なマネージドソリューションが発表される中で クラウドのセキュリティはどうしているの？と気になる方もいると思いますので 本日はクラウドのセキュリティ製品を触ってみたことについて書いてみようと思います。 クラウドのセキュリティといってもどういったものがあるの？ クラウドセキュリティといっても各クラウドが提供している製品や 3rdベンダーが提供している製品、防御範囲も多種多様にあるかと思います。 今回はクラウドプラットフォームが提供している GCPのSCC(Security Command Center)についてポストしようと思います。 ※AWSの類似製品はGuard
AWS側の目線から理解する、Google Cloud ロードバランサの世界 - How elegant the tech world is...!
はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？ 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅
Cloud Run で作るサーバーレス アーキテクチャ 23 連発 - これのときはこう！
2023年は「Cloud Run を触って覚える」をテーマとした ひとりアドベントカレンダー を開催しており、Cloud Run のさまざまな機能や Cloud Run でよく使う構成などをご紹介しています。 最終日、25日目は Cloud Run を中心としたサーバーレス アーキテクチャをいくつか紹介します。2023年にちなんで23個のアーキテクチャを用意しました。 Cloud Run の概要は「gihyo.jp」で解説していますので、こちらもぜひご覧ください。 Web アプリケーション + API の 3-Tier 構成 (SPA) Web アプリケーション + API の 3-Tier 構成 (SPA) SPA (Single Page Application) がフロントになり、バックエンドの API サーバーとして Cloud Run を使用するアーキテクチャです。SPA は N
全社横断データ基盤における部分的セルフサービス化への取り組み - Sansan Tech Blog
研究開発部 Architect Groupの大澤秀一です。ブログ寄稿は約2年ぶりです。半年ぐらい前からランニングを始めて、先日フルマラソン完走してきました。おかげで足はボロボロです（笑）。 さて、私たちはBigQueryを中心とした、全社横断データ基盤（以下、データ基盤）の構築とデータ基盤をもとに社内のデータ利活用を推進しています。データ利活用の推進についてチームメンバーが最近登壇した資料をご参照ください。 speakerdeck.com speakerdeck.com データ基盤を拡大していくにあたって、社内の利用者から自部門のデータをアップロードしてデータ基盤上でアドホックに分析したいという要望がありました。また、利用者自身が自由にテーブルとビューを作りたいという声があがりました。 今回は、そうしたことができる環境を構築したので仕組みについてご紹介します。 なお、本記事はSansan
Cloud Run ことはじめ - Next.js アプリを 10 分でデプロイする
みなさんこんにちは！ 2023年は「Cloud Run を触って覚える」をテーマとした一人アドベントカレンダーを一人で開催したいと思います。Cloud Run のさまざまな機能や、Cloud Run でよく使う構成などを実際の使い方と一緒にご紹介したいと思います。 初日は、私自身がデモなどでよく使う Next.js を Cloud Run にデプロイする方法を紹介します。 Cloud Run の概要は技術評論社さまのブログ「gihyo.jp」に寄稿した記事で解説していますのでこちらもぜひご覧ください。 Next.js アプリの作成 まずは Cloud Run でホスティングする Next.js のサンプルアプリを作ります。 Dockerfile 付きのサンプルアプリは Next.js 公式として公開されているので、コンテナ化した Next.js アプリは簡単に作ることができます。 FROM
サーバーレス開発の基本と簡単に使い始められるCloud Runの特徴 | gihyo.jp
本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第3回では、サーバーレス開発とGoogle Cloudのサーバーレス製品であるCloud Runに焦点を当てます。 まず、サーバーレス開発の基本概念と利点について説明し、従来のサーバーに依存しないアプリケーション開発手法の重要性を探ります。次に、Cloud Runの概要を紹介し、コンテナイメージの実行をサポートするサーバーレスプラットフォームとしての役割を説明します。この回を通じて、サーバーレス開発の基礎を学び、Cloud Runを利用して効率的なアプリケーション開発を実現する方法を理解できます。 主に対象となる読者は、クラウドを利用してアプリケーションを開発するエンジニア、またはその基盤を構築する
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン（以下、カプコン）。その最新 AAA タイトル『ストリートファイター6』では、ユーザーのすそ野を広げる意欲的な取り組みを多数実施して注目を集めています。そこに Google Cloud のテクノロジーがどのように役立てられているのか、開発の中核メンバーにお話を伺いました。 利用しているサービス: Cloud Spanner, Memorystore for Redis, Google Kubernetes Engine, Anthos Service Mesh, Cloud Monitoring, Cloud Logging
Google Cloud の IDaaS「Identity Platform」で作る、さまざまな認証パターン
Identity Platform を使うと、さまざまな認証パターンが構築できる！ この記事は2023年10月6日に行われたナレッジワークさん主催のイベント「Encraft #7 AppDev with Google Cloud」で発表したセッションの解説記事です。現地でご参加いただいた皆さん、オンラインでご視聴いただいた皆さん、ありがとうございました！ 私のセッションでは Identity Platform を使ったさまざまな認証パターンについてご紹介しました。セッション後、いくつかのご質問や「こんなパターンもあるよ！」というコメントもいただきました(ありがとうございます！)。この記事では、セッション内でご紹介した内容に加え、別解、または発展系とも言えるいくつかのパターンについてもご紹介します。 Identity Platform とは まずはこの記事でメインで扱う Identity P
Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは日々複数のGoogle Cloudプロジェクトを管理しています。これらのプロジェクトでは、データサイエンティストやプロジェクトマネージャーなど別チームのメンバーが作業することもあり、必要に応じてメンバーのGoogleアカウントへ権限を付与しています。 権限の付与はプロジェクトの管理者であるMLOpsブロックメンバーが行いますが、これは頻繁に発生する作業でありトイルとなっていました。 また権限付与後はこれらを継続的に管理し、定期的に棚卸しすることで不要になった権限を削除する必要があります。しかし当初の運用だと権限の棚卸しの対応コストが大きく、これが実施されずに不要な権限が残り続けるという課題もありました。 本記事ではMLOpsブロックで抱えていたGoogle Cloudプロジェクト内での権限管理における
[初心者向け]Cloud Storageに保存したSQLをPython上で呼び出してみた | DevelopersIO
クラスメソッド株式会社データアナリティクス事業本部所属のニューシロです。 今回はGoogle CloudのサービスであるCloud Storageに保存したSQLをPython上で呼び出してみました。SQLで操作する対象は、同じくGoogle CloudのサービスであるBigQueryです。 執筆のきっかけ １つのファイルにあらゆるコードを書いてしまうと、どこか変更する際に誤って他の箇所にも触れてしまうかもしれません。場所を分けて管理することも大切です。 自身の学習のためにも、ひとまとめになっていたPythonとSQLを分割した結果を初心者向けに発信しようと思いました。 本題 準備 テーブルはBigQueryの一般公開データセットを使います。様々な種類のデータセットがあって面白いです。データセットの種類についても色々調べたので、今後こちらについても情報発信しようと思います。 参照：BigQ
![[初心者向け]Cloud Storageに保存したSQLをPython上で呼び出してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/040925b27eb5feb239346bdb85b5b0687fff3514/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F09%2Fgooglecloud-cloud-storage.png)
FireStoreのイベントをトリガーとして、Eventarc経由でCloudRunを呼び出す
(これはこの記事からの転載です) FireStoreのイベントは、Eventarcを用いることで他のサービス、例えばCloud Runなどをトリガーできます。 今回、Eventarcを用いてFireStoreのイベントをトリガーとしてCloud Runを呼び出してみることにします。 EventarcはAuditとPub/Subの両方から流し込むことができます。PubSubはCloud PubSubとして他のいろいろなところから流し込むことができ、AuditはFireStoreのイベント以外にもGoogle Cloudで起きるほぼすべてのAPI呼び出しをイベントとして流し込めます。 1. 取得したいイベントの監査ログを有効化する 最初にEventarcを有効化する監査ログの種類を指定し、有効化します。 IAM権限管理 -> 監査ログ で、 "Firestore/Datastore API"
Google Cloud Composerをcomposer-1.17.6-airflow-2.1.4にバージョンアップしました - Pepabo Tech Portal
Airflow v2のリリースブログに"Massive Scheduler performance improvements"とあるように、Airflow v2ではスケジューラの性能が大幅に強化されています。 キューに入ったタスクが開始するまで、Airflow v1.10.14では最長で5分ほどかかっていたのですが、v2.1.4に上げたところ数秒に短縮され、全体的なDAG実行時間を短縮することができました。 また、Cloud Composerを構成するコンポーネントのバージョンが全体的に新しくなったことで、それぞれに関連する既知の脆弱性に対応できたことも、バージョンアップによる恩恵のひとつです。 Cloud Composerは、AirflowやGoogle Kubernetes Engine、Google Cloud SQL、そして多くのPyPIパッケージの組み合わせで構成されています。
Spanner 沼への誘い Part1 Basic
まず、そもそもSpannerとはどういうものなのかについて話しています。 Spanner沼への誘いシリーズについて Google Cloud Spannerをこれから触ってみる人向けに、どういったものなのかについて説明しています。 Spannerにはたくさんの機能があるので、なかなか完全に理解して使いこなすのは大変です。 そんな沼のような世界への入り口として、話をしています。 スライド Basic https://docs.google.com/presentation/d/1LlrIvkv02Jj1OvjKWsKnMNbR3Np72rUxWqatmzywLPI/edit#slide=id.p Write https://docs.google.com/presentation/d/18BS3-oXd3Wxt399iCl-MRPxh1H-rBZZwqahy0-zIVdY/edit#
Cloud Runで新規サービスを構築・運用するためにSREとして取り組んだこと - ZOZO TECH BLOG
はじめに こんにちは。メディアプラットフォーム本部 WEAR部 WEAR-SREの笹沢（@sasamuku）です。 ZOZOが新しく展開する「FAANS」というショップスタッフ向けアプリをクローズドβ版としてテスト運用しています。本アプリは、WEARと連携したコーディネート投稿や、その成果を可視化する機能などをショップスタッフの皆さんに提供するtoBのソリューションです。現在、正式リリースに向け開発を進めています。 そして、FAANSのAPIはCloud Runと呼ばれるサーバレスなコンテナ実行基盤で稼働しています。本記事では、FAANSの実行基盤としてCloud Runを選定した理由や、構築・運用するためにSREとして取り組んだことをご紹介します。 Cloud Runを選んだ理由 まず、クラウドサービスはGCPを選択しています。FAANSでは開発速度の向上と運用負荷の軽減のため、認証やメ
terraform で gcp iam管理に入門してみる - 続 カッコの付け方
terraform で gcpのIAMを管理してみたときのメモ terraform with gcp GCP/AWS 用語対応表 AWSからterraformを触った人が多数派と思うので、用語の意味違いが結構な落とし穴です。なので整理しときます。 AWS GCP memo User Google アカウント GCPより広い世界 Group Google Group 同上 Role ServiceAccount 厳密には異なるがだいたい Policy Role つらい、嫌がらせか？ PolicyAttachment IAM_member terraform上 該当なし？ Policy terraform上? まずUserとGroupについて、GCPのIAMは認証機能は持たず、基本的に認可だけやります。認証は、GCPに閉じた世界ではなく、Gooleアカウント/Groupで行っています。Gmai
できるだけインフラ運用したくない Ruby on Rails on Google Cloud
TL; DR Google Cloud 上で Rails をできるだけインフラ運用しなくて済むように構築するとしたら、こういう構成にするのはどうだろうか？ メインの Web アプリは Cloud Run メインのデータベースには Cloud Spanner 非同期ワーカーには GKE Autopilot 非同期メッセージングキューには Cloud Pub/Sub DB マイグレーションには GKE Autopilot rails console には GKE Autopilot はじめに 先日、Cloud Spanner の ActiveRecord アダプターのバージョン 1.0 がリリースされました。 Scale your Ruby applications with Active Record support for Cloud Spanner | Google Cloud Blog
Deep Dive BigQuery
CyberAgentグループでサーバサイドエンジニアをしている 山口( @nao99999 ) です。 CyberAgentメディア管轄の広告プロダクト横断組織(PTA)によるアドベントカレンダー2021最終日の投稿になります。 CyberAgent PTA Advent Calendar 前日は同僚の古川による「Slack Workflow と Google Spreadsheet を合わせると超絶便利な件」でした。 今回は書籍や公式ドキュメントを元にBigQueryの内部構造に関して書きたいと思います。 引用: GCP IconsIntroduction普段業務でBigQueryを使っていて、なんで大きなデータに対して早く結果を返せるか気になったので背景や内部構造などを調べてみました。最後に記載しますが主に下記をまとめたものになります。 ReferencesGoogle BigQuer
TFLintを使ってみる（GCP×Terraform） | フューチャー技術ブログ
はじめにterraform validateやterraform planでは検知できないエラーを見つけるために、TFLintを利用してみました。TFLintを用いれば、例えばインスタンスタイプの誤りや命名規約違反を検知できます。 本記事では、インストールから利用方法までを記載しています。 TFLintとは？いわゆるTerraformのためのLinter。JavaScriptでいうと、ESLintのようなものです。構文やパラメータがルールに違反していないかをチェックしてくれるツールです。 環境やバージョン今回利用した環境です。 Windows10 tflint v0.34.0 tflint-ruleset-google v0.15.0 terraform v1.1.0 ※Terraformがなくてもtflintは動作するので、Terraformは必須ではない Google Cloud tf
オンライン機械学習サービスとしてGCP Vertex AIのMLOpsを導入した話
この記事は「Eureka Advent Calendar 2021」の16日目の記事です。 Hello! 世界！MLエンジニアのsugikiです。 2021年ももう終わりますね。急に寒くなってきたので急に年末感がでてきました。 うちの犬もかまくらのハウスで丸くなりなかなか出てこなくなりました。 私は、普段はユーザが接するMLサービス全般に関わる業務に従事しています。今回は、GCPでMLOpsを導入したサービス事例や苦労した点について紹介したいと思います。 全体の構成今回は、検索やレコメンドでのリランキングサービスを例に構成を紹介したいと思います。機械学習を使ったリランキングはlearning-to-rank (LTR)と呼ばれるタスクでアカデミックでも研究が盛んに行われています。 一般的には、以下のように、検索エンジンやベクトル類似度など比較的軽量な処理でcandidate generat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
