【コスト最適化】BigQuery Editions などの解説と見積もり方法
2023 年度の Google Data Cloud & AI Summit にて BigQuery に対する超有益なアップデートが発表されました！ 価格体系の変更について、有効的に活用すればコストの最適化ができるものになります。 ヘビーユーザーは当然のこと、ライトユーザーやこれから検証のために少し触ってみたいような方々に向け、おさらいも交えながら説明をさせていただきたいと思います。また、弊社内で実際に利用している BigQuery のデータセットに対し、この変更でコストがどのように最適化できるのかも紹介させていただきます。 価格体系の変更 まずは、おさらいとして BigQuery の価格体系を解説します。 BigQuery のアーキテクチャはストレージとコンピューティングに分離されています。伴って、BigQuery の料金は、Storage pricing (ストレージ料金)と呼ばれるス
Google Cloudの利用費を節約できる確約利用割引を購入してみた
確約利用割引（CUD: Commited Use Discount）は、一定の期間、一定の量のリソースを利用することを確約（コミットメント）することで適用される割引です。今回は、Zennで利用している Cloud Run と Cloud SQL で確約利用割引を購入してみましたので、記事にしたいと思います。 確約利用割引とは 改めて、確約利用割引とはどんなものかを説明します。確約利用割引とは、一定の期間、一定の量のリソースを利用することを確約（コミットメント）することで適用される割引です。期間と割引率については、サービスによって異なります。例えば、Cloud Runの場合、1年または3年、一定の費用を支払うことを確約することで、17%の割引を受けることができます。 コミットメントのタイプとして、単位時間あたりの「費用」をコミットするタイプと、「リソース」をコミットするタイプの2種類がありま
Cloud RunでOpenTelemetry Collectorをサイドカーとして動かす
こんにちは！Google Cloudでオブザーバビリティを担当しているものです！Cloud Runでマルチコンテナーサポートがパブリックプレビューになりましたね！これはCloud Runでサイドカーを走らせられるということです！というわけで今日は1ユースケースとしてOpenTelemetry CollectorをCloud Runのサイドカーとして走らせてみようと思います。 TL;DR Cloud Runのマルチコンテナーサポートを使うと、アプリケーション側はOTLP送信の実装だけして、OpenTelemetry Collectorをサイドカーとして走らせて、テレメトリーをCloud Opsや外部のオブザーバビリティツールに送ることが可能になります。 構成 Kubernetesで使っているようなポッド内のサイドカーの構成をCloud Runでもできますよ、というだけなので、それをわかってる
Google Cloudの組織(Organization)を徹底解説 - G-gen Tech Blog
G-gen の杉村です。Google Cloud (旧称 GCP) には組織 (Organization) という概念があります。ガバナンスとセキュリティのために重要なこの機能を解説します。 組織の基本 組織 (Organization) とは リソースの階層構造 組織リソース フォルダ・プロジェクト 組織のメリット・ユースケース 組織を使う理由 複数プロジェクト管理 利用可能なサービス・機能 組織を使わないリスク 組織の作成 Google Workspace (Cloud Identity) と Google Cloud 組織の作成方法 組織作成直後の特権 組織の表示 階層構造 (ツリー) の表示 表示に必要な権限 組織の管理 組織の管理者ロール 強力な管理権限 管理の委任 監査 組織と Cloud Audit Logs 監査ログの収集 組織 (Resource Manager) 自体の
Google Cloud 版 Dataform と周辺リソースの図 - ぽ靴な缶
GCP 版 Dataform がついに GA になりましたね。同時に定期実行の仕組みも出て、一通りの機能が揃った感がある。いまこそ買収以前の SaaS 版(Legacy 版)から GCP 版に移行する時!! しかし GitHub リポジトリと連携する場合、登場人物が多くて難しくなっていると思う。 特に GCP に馴染みがなかったりデータ分析がメインの人は困りそう。公式ドキュメントには step by step で書いてあるものの、なぜ必要なのか分からないまま設定することになる。 なので全体像を図にしたり補足するという趣旨のエントリです。 Dataform とは Dataform とは...という話はしません。公式ドキュメントや世間のブログ記事を読もう。 Dataform を使うと、テーブル同士の依存に基づいて順番に SQL を実行してデータパイプラインを作ったり、依存関係を可視化したり、デ
Could not load the default credentials エラーについて - ぽ靴な缶
Cloud Functions でしばしば見るエラー、Firebase Functions も中身は同じなので起きる。 なにやらちゃんと動いていないぞ... と Stackdriver Logging を見にいくと、こういうエラーメッセージが書かれている。 Error: Could not load the default credentials. Browse to https://cloud.google.com/docs/authentication/getting-started for more information. at GoogleAuth.getApplicationDefaultAsync (/srv/functions/node_modules/google-auth-library/build/src/auth/googleauth.js:160:19) at p
BigQuery アクセス権設定まとめ & グループ設計例 - Qiita
2021年時点でも、そこそこ参照されているため、BigQuery Advent Calendar 2021 25日目の記事としてアップデートします。 BigQuery リソースのアクセス権設定は難しいですが、データ資産の保護と活用のバランスを自由に設計できます。組織に合わせたアクセス権をうまく設定 & 設計して、データ資産を活かしていきたいですね。 本稿では、アクセス権の設定方法と、叩き台になりそうな具体的な設計例について述べます。 アクセス権の設定方法 BigQuery リソースのアクセス権設定にあたり、覚えておく軸は 3 つです。 具体的な人間やアカウントを示すプリンシパル、権限範囲の対象（プロジェクトやデータセット）を示す対象レイヤ、具体的な一つ一つの権限、これらをおさえておけば、BigQuery の権限設定は安心です。 プリンシパルは Google アカウントを筆頭に 7 種類 以
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenTelemetry on Google Cloud: Unraveling the mystery