LIXIL：BigQuery を中心としたデータ活用基盤 LIXIL Data Platform を構築、"データ活用の民主化" を推進 | Google Cloud 公式ブログ
LIXIL：BigQuery を中心としたデータ活用基盤 LIXIL Data Platform を構築、"データ活用の民主化" を推進 これまでも Google Cloud を有効活用してきた株式会社LIXIL（以下、LIXIL）。これからの新時代に向け、さまざまな先進的な取り組みを行っている同社ですが、中でも注目すべき取り組みが、BigQuery を中心としたデータ活用基盤『LIXIL Data Platform（以下、LDP）』です。"データ活用の民主化" を掲げ、2021 年 5 月に正式運用開始されたこの仕組みが、今、どのように LIXIL を変えようとしているのかを聞いてきました。 利用している Google Cloud ソリューション：スマート アナリティクス 利用している Google Cloud サービス：BigQuery、BigQuery ML、Data Catalog
Scikit-Learn でモデルカードを作成してクラウドにデプロイする方法 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 機械学習モデルは、多数の難しいタスクを遂行するために使用されるようになりました。大きな可能性を秘める ML モデルですが、その使用方法、構成、制限に関して疑問も寄せられています。そうした疑問に対する回答を文書化することで状況が明確になり、共通の理解を得ることができます。これらの目標を達成するために、Google はモデルカードを導入しました。 モデルカードの目的は、機械学習モデルの全体像を簡潔に提供することです。まず、モデルカードはそのモデルの機能、意図するユーザー層、その管理者について説明します。また、アーキテクチャや使用されているトレーニング データなど、モデルの構成に関する情報も提供します。さらに、生のパフォーマンス指標だけでなく、モデルの制限とリスク緩和の機会
Data Catalog のポリシータグで BigQuery カラムレベルのアクセス制御が可能になったので試してみた | DevelopersIO
こんにちは、みかみです。 これまで BigQuery のデータのアクセス制御を指定できる最下層のリソースはデータセットで、テーブルやカラム単位でのアクセス制御はできませんでしたが、Data Catalog のポリシータグを付与することで、カラムレベルのアクセス制御が指定できるようになったそうです。 BigQuery の列レベルのセキュリティで、きめ細かなアクセス制御を ｜ GCP ブログ Introduction to BigQuery Column-level security ｜ BigQuery ドキュメント Restricting access with BigQuery Column-level security ｜ BigQuery ドキュメント やりたいこと BigQuery のカラムレベルのアクセス制御を行うにはどうすればいいのか知りたい BigQuery のカラムレベルの
BigQueryのテーブルのメタデータをCloud Data Catalogで管理する - yasuhisa's blog
自分が使いたいと思ったBigQuery上のリソース(tableやview)、内容を事前に完全に把握できている、ということは結構少ないのではないかと思います。そういったときに手助けをしてくれるのがメタデータです。BigQueryのリソースに対するメタデータを、Cloud Data Catalogのタグとして付与する方法を紹介します。Cloud Data Catalogを使うことで、分析者が必要なリソースに素早く辿り付いたり、正確な分析をするためのサポートができます。 BigQuery関連のAudit logを元に、以下の情報をData Catalogのタグに入れた。 - 最後にクエリを投げた{日, 人} - クエリを投げられた回数 「あまり使われていないので、信用できないデータかも」「最後にXXXさんがクエリ投げてるから、詳細詳しいかも」みたいな用途を想定してる pic.twitter.co
Cloud metadata management service now available | Google Cloud Blog
Discover, understand and manage your data with Data Catalog, now GA Google Cloud Data Catalog is a fully managed and scalable metadata management service. It can help your organization quickly discover, understand, and manage all your data from one simple interface. Accessible from within the Google Cloud console, Data Catalog allows immediate access to data discovery without requiring any upfront
Google Cloud Data Catalog とは - Qiita
概要 Google Cloud Data Catalog で何ができるのか、Cloud Next'19 のセッションを視聴し、少し触ってみてわかったことをまとめる。 Data Discovery in Google Cloud (Cloud Next '19) (Youtube) ドキュメント (概要) ドキュメント (詳細) フルマネージドでスケーラブルなメタデータ管理サービス。 機能 UI や API でメタデータを検索・管理できる 対象のデータソースは BigQuery / Pub/Sub / GCS テクニカル メタデータ (後述) を自動で収集してくれる データソース (BigQuery のみ ?1) が作成されてから 3 秒で収集完了 UI や API で ビジネス メタデータ (後述) を登録できる メタデータへのアクセス制御ができる Cloud DLP2 を使えば PII3
Google Cloud Data Catalog hands-on guide: a mental model
This quickstart guide is part of a series that brings a practitioner approach to Data Catalog, a recently announced member of Google Cloud’s Data Analytics services family. Data Catalog is a fully managed and scalable metadata management service that empowers organizations to quickly discover, understand, and manage their data in Google Cloud. Mental modelTo provide some context about Data Catalog
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ricardolsmendes/datacatalog-tag-manager: Python package to manage Google Cloud Data Catalog tags, loading metadata from external sources -- currently supports the CSV file format
Boosting the Data Governance journey with Google Cloud Data Catalog
Google Cloud Data Catalog and Tableau integration
GitHub - ricardolsmendes/datacatalog-custom-model-manager: Python package to load user-specified metadata models into Google Cloud Data Catalog, comprising Custom Entries, Tag Templates, and Tags
Business Glossary support in Google Data Catalog
GitHub - GoogleCloudPlatform/datacatalog-tag-history: Historical metadata of your data warehouse is a treasure trove to discover not just insights about changing data patterns, but also quality and user behaviour. This solution creates Data Catalog Tags h
community/archived/datacatalog-tag-history/index.md at master · GoogleCloudPlatform/community
Introducing the Model Card Toolkit for Easier Model Transparency Reporting
GitHub - mesmacosta/datacatalog-util: A Python package to centralize some Google Cloud Data Catalog scripts, this repo contains commands like bulk CSV operations that help leverage Data Catalog features.
Where is my data? The answer is Google Data Catalog
GitHub - GoogleCloudPlatform/datacatalog-connectors-bi: Sample code with integration between Data Catalog and BI data sources.