Spanner 沼への誘いGoogle Cloud Spanner 概要 セッションの 沼への誘いシリーズ
Use Dataflow Prime | Google Cloud
Send feedback Use Dataflow Prime Stay organized with collections Save and categorize content based on your preferences. Dataflow Prime is a serverless data processing platform for Apache Beam pipelines. Based on Dataflow, Dataflow Prime uses a compute and state-separated architecture. In the following cases, Dataflow Prime might improve pipeline efficiency: Your pipeline would benefit from Vertica
Security Command Centerを使用してGoogle Cloud内のセキュリティイベントを検知する - NRIネットコムBlog
こんにちは、最近Google Cloudを頑張って勉強している上野です。 今回はSecurity Command Centerおよびその通知設定方法を紹介します。 Security Command Centerとは？ Security Command Center（以下SCC）は、Google Cloudの組織配下のプロジェクトにおいて、セキュリティリスクのある設定や、脆弱性（アプリも含む）を見つけてくれるサービスです。 見つけた結果を表示するダッシュボード機能もあります。 なお、SCCは組織に対して設定するサービスのため、プロジェクト単体では使用できません。 無料のスタンダード ティアと有料のプレミアム ティアがあり、スタンダードでは一部機能のみ使用できます。 機能（サービス）名 機能概要 スタンダード プレミア Security Health Analytics 公開FWなど、Goog
セキュリティ・キャンプ全国大会 2021 オンライン B3 分散アーキテクチャ時代におけるWebシステムの開発と運用 事前資料 クラウドシステムをセキュアに開発運用する勘所
セキュリティ・キャンプ全国大会 2021 オンライン B3 分散アーキテクチャ時代におけるWebシステムの開発と運用 事前資料 クラウドシステムをセキュアに開発運用する勘所
Implementing ETL on GCP
ETL (Extract-Transform-Load) processes are an essential component of any data analytics program. This typically involves loading data from disparate sources, transforming or enriching it, and storing the curated data in a data warehouse for consumption by different users or systems. An example of this would be taking customer data from operational databases, joining it with data from Salesforce an
Dataflow SQL user-defined functions | Google Cloud
Send feedback Dataflow SQL user-defined functions Stay organized with collections Save and categorize content based on your preferences. Dataflow SQL supports user-defined functions (UDFs) written in Java or SQL. These functions accept columns of input and perform actions, returning the result of those actions as a value. Java UDFs Java UDFs can be either scalar functions or aggregate functions. A
AI Platform Pipelines の機械学習基盤への導入 - MicroAd Developers Blog
こんにちは、マイクロアド機械学習エンジニアチームの河本（@nnkkmto）です。今回、モデル学習における課題解決に向けて GCP における機械学習基盤に AI Platform Pipelines (Kubeflow Pipelines) を導入しました。今回はその内容について紹介します。 従来の方法 抱えていた課題 手段：AI Platform Pipelines 導入時の方向性 導入内容 実行処理 CI / CD 終わりに 参考 従来の方法 マイクロアドでは学習実行基盤として GCP (Google Cloud Platform) を採用しています。 定期的な学習が必要な推論モデルは、 AI Platform Training の単一の job として学習処理の含まれるイメージを cron 実行することで行っていました。 デプロイ・実行をまとめると以下のような構成になっています。 抱え
ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
Cloud run+Firebaseの開発について【Webアプリ開発】 - Qiita
概要 私はGCPを積極的に利用していますが、安く簡単にサービスを作ろうと思うと、Cloud run+Firebaseが良いのかなと思い、まとめました。メンテナンス性についても、Cloud runとCloud Functionsを比べると、Cloud runの方が良いと思います。 開発環境一覧 Source Repositry Cloud build Cloud run Firebase(hosting) はじめに 始めに上記の環境においてはサービスを有効状態にしてください。 また、gcloudでは最低限必要なIAMは以下の通り。 Firebase 管理者 Cloud run 管理者 今回はCloud buildを使用するため、IAMにおける「~~@cloudbuild.gserviceaccount.com」に以下の権限を付与する。 Cloud Run 管理者 Cloud Run サービス
小さいプロダクト開発におけるGCP利用の勘どころ - 個人的なプロダクトを三日でローンチした話 - Lean Baseball
私個人の話なのですが. 最近は仕事でAWSやGCPのサーバレスアーキテクチャにふれる機会が増えた*1と同時に, 自分が気になる世の中のニュース（グルメとかいろいろ）だけをいい感じに集めてまとめて読みたい その中でも特に⚾, 速報とかいい感じに通知させたい という怠け者欲ライフハック欲が高まってきたので, GCP（とちょっとしたPythonスクリプト）でSlack Botを作りました. 趣味開発で雑にはじめた結果, 三日程度でできちゃった*2のでその知見をメモ代わりに残します. おしながき おしながき TL;DR 対象読者 作ったもの GCPをフル活用して実質三日でBotをローンチした Bot本体の開発 GCPの何を使うかで試行錯誤 プランA「GCEを使う」 プランB「Cloud Run + Cloud Scheduler」 採用した構成「Cloud Functions + Cloud Sc
GCPにゲーミングPCを作成する方法
注意点 事前にGPUを利用する上限緩和申請が必要 画面転送ソフトParsecで初回にログインする時は少し工夫が必要 GPUについてもPreemptibleで起動する際は、事前に申請が必要 下準備 上限緩和は申請が下りるまで時間がかかるので、先に実施しておきましょう。 Parsecアカウントの取得 先にParsecアカウントは取得しておき、自分のPCやMacにParsecをインストールしておきましょう。 上限緩和申請 事前にPreemptibleのリソースを利用する申請を行います。 例として、GPUの申請方法を記載します。 GCPコンソールから「IAMと管理」、「割り当て」を選択 割り当てリソースをフィルタで絞ります。 GPUは「Virtual Workstation」がついたTesla T4 を選択します。 リージョンは東京を選択、割り当てを選択します。 必要な事項を入力 リクエスト数と理
Cloud Run が GA になったから改めて色々見てみる
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 7日目の記事です。 本記事で触れるのは Fully managed 版の Cloud Run のみです 🙇 みなさん、こんにちは。Google Cloud の Kazuu( かずー ) です。2019 年 4 月 9 日に Fully managed 版の Cloud Run が Beta としてリリースされてから半年以上経ち、去る 2019 年 11 月 14 日にとうとう GA となりました㊗️ 本記事では GA に至るまでにどんな機能が主に追加されてきたのかリリースノートの時系列で見ていきたいと思います。 Cloud Run の基本的なところを知りたいという方は Next Tokyo の動画や Cloud OnAir も併せてご覧ください。Cloud
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vertex Pipelines ではじめるサーバーレス機械学習パイプライン
セキュアなBigQueryの運用方法
Analytics Hub | Data Exchange and Data Sharing
Dataplex: data governance
Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた / Realtime data linkage from Amazon Aurora to Google BigQuery
Google Colab
KARTEにおけるKubeflow Pipelineの活用 | PLAID engineer blog
https://jp.techcrunch.com/2020/02/22/2020-02-18-how-spotify-ran-the-largest-google-dataflow-job-ever-for-wrapped-2019/
