GCP の Application Default Credentials を使った認証 - ぽ靴な缶
公式ドキュメントで説明されているけど、同僚に何度か説明する機会があったり、作る必要のないサービスアカウントキーを目にすることも多いのでまとめておく。 認証情報が登場しないアプリケーションコード 例えば以下のコードで Secret Manager に保存したトークンを取得することができる。SecretManagerServiceClient にサービスアカウントキーを渡さずとも動作する。 const {SecretManagerServiceClient} = require('@google-cloud/secret-manager'); const client = new SecretManagerServiceClient(); (async () => { const [secret] = await client.accessSecretVersion({ name: 'proj
VPC ネットワーク | Google Cloud
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 VPC ネットワーク Virtual Private Cloud（VPC）ネットワークは、Andromeda を使用して Google の本番環境ネットワーク内に実装された物理ネットワークを仮想化したネットワークです。 VPC ネットワークは次のことを行います。 Compute Engine 仮想マシン（VM）インスタンス向けの接続を提供します。 ネイティブの内部パススルー ネットワーク ロードバランサと内部アプリケーション ロードバランサ用のプロキシ システムを提供します。 Cloud VPN トンネルと、Cloud Interconnect 用の VLAN アタッチメントを使用して、オンプレミス ネットワークに接続します。 Google Cloud の外部ロードバランサからバックエン
GCPで理想の構造化ログを出力する方法
はじめに この記事では、GCP のマネージドサービス(Google App Engine[1]/Cloud Run/Cloud Functions/GKE)から Cloud Logging に良い感じの構造化ログ(理想の構造化ログ)を出力する方法について紹介します。 良い感じのログの例 前提条件 この記事で紹介する構造化ログの実装は基本的に以下の仕様にそって実装しています。重要な仕様なので興味のある方は一度読んでみることをおすすめします。 構造化ペイロードの特殊フィールド 用語の解説 本編に入る前に、この記事で使われるログ出力まわりの用語をまとめておきます。以下の用語については前置きなく使いますのでよろしくお願いします。 構造化ログ[2] プレインテキストではなく、JSON等のデータ形式で出力されたログのこと GCPのCloud Logging(旧Stackdriver Logging)で
社内データパイプラインツールを Mercari Dataflow Template としてOSS化しました | メルカリエンジニアリング
Merpay Advent Calendar 2020 の10日目の記事です。 こんにちは。Merpay Solutions Teamの @orfeon です。 ３ヶ月ほど前のブログ記事でメルペイでのFlexTemplateの活用例を紹介しましたが、ここで使われていたソフトウェアを先日、OSSとして公開しました。 この記事ではこのOSSとして公開したMercari Dataflow Templateについて紹介します。 BigQueryから取得したデータを別のDatabaseサービスに保存したり、異なるデータソースからのデータをSQLで結合・加工したり、AWSのS3にデータを出力したりなどなど、GCP上での何らかのデータの処理に関わられている方は役立つケースがあるかもしれないのでぜひご一読頂ければ幸いです。 Mercari Dataflow Templateとは何か Mercari Dat
Workload Identityの実基盤への導入
Workload Identityの実基盤への導入 10年後に本番環境でやらかしちゃった人 Advent Calendar を書かないために 本記事は リクルートライフスタイル Advent Calendar 2019 23日目の記事です。 CETチーム の龍野です。 我々のチームでは GKE (Google Kubernetes Engine) を利用した基盤開発が盛んに行われております。 Kubernetes は可用性の高さや複数アプリケーションの実行など、多くのメリットがあるのですが、一方で、 GKE 内で多くのサービスが走ることによって、個々の権限管理などが煩雑になってきます。 そこで、本記事では、 GKE 内のサービスでの権限管理をより楽に、堅牢に行うことのできる Workload Identity という仕組みについて紹介します。チーム内での利用事例や、実際に Workload
Cloud FunctionsのNode.jsランタイムを使うときに毎回設定していること - yashiganiの英傑になるまで死ねない日記
Cloud Function使ってますか？簡単なサービスをシュッと作って公開するにはとても便利ですよね。筆者もよく使っています。今やGCPの中では一番手に馴染んだサービスのひとつです。 最近Cloud Functionsを使っていくつかサービスを作っていて、最初にすることが決まってきたのでご紹介します。 TypeScriptの導入 初手はTypeScriptの導入です。みなさんはTSを導入するときどうしていますか？入れるだけなら簡単なんですが、ESLintだとかPrettierだとか考え始めるとゾッとしますよね。これから楽しくプログラミングを始めるのにゾッとはしたくないので、で頭をカラッポにしてgtsを使います。gtsというのはgoogleが作っているいい感じにTypeScriptを使えるやつで、入れておくだけでそれはそれはいい感じになります。詳しくはこのエントリーを見てくれ。npx gt
【2020年】GCPのAI/ML系のサービスまとめてみた | DevelopersIO
こんにちは、Mr.Moです。 Google Cloud Platform(GCP)にはたくさんの優れたサービスがありますがAI/ML系のサービスも熱いですね！Updateもガンガン来ているようなので現時点で情報をまとめておきたいと思います。 GCPのAI/ML系のサービス GCPでは多くのAI/ML系のサービスがリリースされていますが、今は大きく下記の2つで区別されているようです。 AI Building Blocks AI Platform AI Building Blocks AI Building Blocksには、カスタムモデルと事前トレーニング済みモデルの 2 種類があり、開発者は視覚認識能力、言語能力、会話能力、構造化データをアプリケーションに簡単に組み込めます。 事前トレーニング済みモデル 事前トレーニング済みのモデルをAPI経由で利用できるサービス群です。汎用的な機能でも良
実践 Pub/Sub Messaging - Cloud Pub/Sub を活用するための開発基盤を作った話 | Wantedly Engineer Blog
はじめにこんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（@south37）です。 先日、Wantedly では「システム全体の信頼性向上」と「開発生産性の向上」を両立するために Event-Driven Architecture を採用しているというブログを書かせて頂きました。 開発生産性と信頼性の両立を目指すための Event-Driven Architecture - より良いマイクロサービスアーキテクチャを求めて | Wantedly Engineer Blog こんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（ south37 ）です。 Wantedly では、マイクロサービスアーキテクチャを採用しています。 マイクロサービスで開発を進める上で、重要な関心ごとの1つが「多数のマイク
パフォーマンス向上のためにデータを抽出する - Looker Studioのヘルプ
この記事では、Looker Studio について説明します。Looker のドキュメントについては、https://cloud.google.com/looker/docs/intro をご覧ください。 データ抽出を行うと、分析対象がデータのサブセットに限定されるため、元のデータにライブ接続した状態よりも読み込みが速くなり、フィルタ適用や期間指定の際の待ち時間が短縮されるメリットがあります。 データ抽出の仕組み 既存のデータソース（種類は問いません）を選択して、特定のフィールドを指定すると、そのフィールドだけを含む「抽出済みデータソース」を作成することができます。フィルタや期間を適用することにより、データ量をさらに絞り込むことも可能です。作成した抽出済みデータソースは、通常のライブ接続されたデータソースと同じように、レポートや原因分析で使用できます。 抽出済みデータと集計 もともと集計済
GCPにおけるサーバサイド暗号化 - Qiita
はじめに GCPにおける暗号化の全体像は以下になります。 一般的に暗号化は、データの転送中(in transit)の暗号化とデータ保存時(at rest)の暗号化に分類されます。データ保存時(at rest)の暗号化は、データを暗号化する場所によりクライアントサイド暗号化、サーバサイド暗号化に分類できます。 ここからは、サーバサイド暗号化について記載します。 本記事における用語の定義 ユーザ：クラウドの利用者 顧客：ユーザと同義、GCPのマニュアルでは、Customer Managed keyを顧客管理鍵と訳しているため、鍵の名称にはユーザではなく顧客を使用する GCPにおけるサーバサイド暗号化の種類 GCPにおけるサーバサイド暗号化の種類は、Google のデフォルトの暗号化、顧客管理鍵による暗号化、顧客管供鍵による暗号化の3種類あります。 Google のデフォルトの暗号化は、Goog
タグ付けの自動化に向けて: メタデータを Data Catalog に一括で取り込む | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。 Data Catalog を使用すると、インタラクティブなインターフェースを通じてビジネス メタデータを取り込んで編集できます。また、プログラマティック インターフェースを使って一般的なタスクを自動化することができます。Data Catalog を使用した一連のメタデータの定義、収集は多くの企業にとって必要性の高い業務です。そこで今回はメタデータの宣言、作成、維持を長期的に行ううえでのベスト プラクティスをご紹介します。 以前の投稿では、タグ テンプレートがデータアセットを分類するための語彙を記述することにより、データの検出、ガバナンス、品質管理を促進する方法について確認しました。この投稿では、タグ テンプレートを使用してデータをタグ付けする方法について説明します。タグ
【Cloud IAM】よくわからない… から、わかった！へ｜ 開発者ブログ ｜ 株式会社アイソルート
【Cloud IAM】よくわからない… から、わかった！へ 「ポリシー」「役割」「権限」など、たくさん単語が出てきて最初は難しく感じるCloud IAM。整理してひとつずつ意味を理解し、Cloud IAMの全体像をつかみましょう！ この記事は アイソルート Advent Calendar 2日目の記事です。 モバイルソリューショングループの arai.ya です。こんにちは。 Google Cloud Platform (GCP) は、ハードウェアレベルでのセキュリティ保護や、ストレージにデータを保存する際の暗号化、通信時の暗号化など、さまざまなレイヤーでセキュリティを確保することで、信頼できるインフラを提供してくれています。 ですが、いかにインフラのセキュリティレベルが高くても、それを使う私達が設定不足や操作ミスなどにより、自分たちの大切なサービスに弱点をつくっては意味がありません。 今
Google Cloud Data Catalog and Looker integration
Background photo by Lauren Mancke on UnsplashThe Google Cloud Data Catalog Team has recently announced its product is now GA and ready to accept custom (aka user-defined) entries! This brand new feature opens up scope for integrations and now users can leverage Data Catalog’s well-known potential to manage metadata from almost any kind of data asset. To demonstrate how it works, I’ll share design
コラム - グーグルのクラウドを支えるテクノロジー | 第35回 社内横断データセット検索システム「Goods」（パート1）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第35回 社内横断データセット検索システム「Goods」（パート1） (中井悦司) 2018年3月 はじめに 今回からは、2016年に公開された論文「Goods: Organizing Google's Datasets」をもとにして、Bigtable、Spanner、GFSと言った、Google社内のデータストアを横断的に検索可能にするツール「Goods（Google Dataset Search）」を紹介していきます。最近、複数のデータストアにまたがった情報を横断的に検索・活用する手法として、「データレイク」という考え方を耳にするようになりました。これは、260億件という膨大な数のデータセットに対してデータレイクの仕組みを実現した、Goog
コラム - グーグルのクラウドを支えるテクノロジー | 第36回 社内横断データセット検索システム「Goods」（パート2）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第36回 社内横断データセット検索システム「Goods」（パート2） (中井悦司) 2018年4月 はじめに 前回に引き続き、2016年に公開された論文「Goods: Organizing Google's Datasets」をもとにして、Google社内のデータストアを横断的に検索可能にするツール「Goods（Google Dataset Search）」を紹介します。 前回説明したように、すべてのデータセットからカタログ情報を抽出するのは、データ量の観点から現実的ではありません。そこで、類似のデータセットをクラスタリングした上で、各クラスターからのサンプリングにより、カタログ情報の抽出を行います。また、カタログ情報の中には、データセットのス
中規模プロジェクトでの GCP権限管理(アクセス制御)ベストプラクティス - Qiita
GCP(Google Cloud Platform)の開発・運用者へ付与する権限の管理について、現状のベストプラクティスを考えてみました。 ※Googleが推奨する権限管理の形とは異なる部分があります。あくまで個人の考えたベストプラクティスですので、ご了承下さい。 目次 はじめに なぜ権限管理が必要なのか どうしたいのか GCPの権限管理 アクセスする主体と役割の管理方法 アクセス対象と権限の管理方法 GCP権限周りの困りポイント・注意すべきポイント こんな運用もあり 現状のベストプラクティス ←時間のない人はこちら コード化して管理する 運用してみて良かったこと・課題と今後 おわりに はじめに GCPの権限管理(IAM)周りについての基礎知識はこちら。 Cloud IAM 概念 Google Cloud Platform(GCP)のCloud IAM Qiita記事, GSuiteやCl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービスアカウントのなりすまし - pokutuna
Terraform で GCP IAM 設定どれ使うのがいいのか - pokutuna
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
awesome-gcp-certifications/professional-data-engineer.md at master · sathishvj/awesome-gcp-certifications