入社４ヶ月でBigQueryの課金額を減らすために考えたこと - 弁護士ドットコム株式会社 Creators’ blog
データ分析基盤室の otobe（𝕏@UC_DBengineer） です。 事業規模が拡大し、大規模なデータの管理が必要になるにつれて、SnowFlake や BigQuery のようなハイパワーな DWH サービスでデータを加工するケースは多いです。 その際、想定外な高額請求が起こる原因のひとつに、クエリが最適化されておらずスキャン量が増大しているケースがあります。 そのため、クエリのスキャン量を監視・管理することが課金額を減らすうえで有効な手段となることがあります。 本記事では、前半で BigQuery で課金されるスキャン量を監視・管理するまでのプロセスを振り返り、 後半で BigQuery の課金額を減らすために簡単にチェックできることについてお話しします。 BigQuery クエリにおけるスキャン量を監視・管理するに至った理由 BigQuery の課金額が想定より大幅に増加してい
次世代データ基盤：データレイクハウスを Google Cloud で実現する
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
AWS側の目線から理解する、Google Cloud ロードバランサの世界 - How elegant the tech world is...!
はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？ 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅
Google Cloud の IDaaS「Identity Platform」で作る、さまざまな認証パターン
Identity Platform を使うと、さまざまな認証パターンが構築できる！ この記事は2023年10月6日に行われたナレッジワークさん主催のイベント「Encraft #7 AppDev with Google Cloud」で発表したセッションの解説記事です。現地でご参加いただいた皆さん、オンラインでご視聴いただいた皆さん、ありがとうございました！ 私のセッションでは Identity Platform を使ったさまざまな認証パターンについてご紹介しました。セッション後、いくつかのご質問や「こんなパターンもあるよ！」というコメントもいただきました(ありがとうございます！)。この記事では、セッション内でご紹介した内容に加え、別解、または発展系とも言えるいくつかのパターンについてもご紹介します。 Identity Platform とは まずはこの記事でメインで扱う Identity P
BigQueryのオンデマンドクエリの利用量にフタをする (上限を設ける) - G-gen Tech Blog
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順 (コンソール) クエリ設定を開く 詳細オプションの設定 動作確認 設定手順 (bq コマンドライン) はじめに BigQuery の課金体系にはオンデマンドと Editions の2つから選択できます。前者はスキャンしたデータ量に応じた従量課金です。後者は確保するコンピュートリソースの量に応じた課金で、オートスケールの幅 (上限と下限) を設定できます。 Editi
CI/CDをCloud Buildへ乗り換えたついでにリリースを10分以上短縮した話 - Commune Engineer Blog
はじめに コミューンではこれまでCI/CDのツールにCircleCIを使っていましたが、最近Cloud Buildへ切り替えました。 結論から言うと、切り替えにあたってパイプラインの中身とプロセスを今一度見直したところ、以下のように改善しました。 ビルド回数：2回 -> 1回 本番環境のリリース完了時間：約13分~24分 -> 約3分 今回の記事では切り替えるきっかけとなった出来事やCloud Buildの設定、注意点について書きます。 はじめに タフな仕事始め その場限りの対応ではなくあるべきを考える あるべきを設計する パイプラインのステップ ステップ1 ステップ2 Cloud Buildの設定 構成ファイルの作成 サービスアカウントの設定 トリガーの設定 開発環境用のプロジェクト 本番環境用のプロジェクト 注意点 cloudbuild.yamlの多段構成は避ける 自前のタグをつけたリ
Broadcom、Google Cloud Armor を使用して DDoS 攻撃をブロック | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 2 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 Broadcom は、ハードウェアとソフトウェアの専門知識を活用したエンタープライズ セキュリティ ソリューションのテクノロジー リーダーです。統合された Symantec サイバーセキュリティ ソフトウェアなど、埋め込みセキュリティ ソリューションの幅広いポートフォリオを全世界で提供しています。Broadcom は 2021 年に、Google Cloud DevOps Awards を受賞しました。 Broadcom はエンタープライズ セキュリティ ソリューション インフラストラクチャをアマゾン ウェブ サービス（AWS）から Google Cloud に移行するにあたって、環境のネットワーク セキュリティ インフラストラクチャの保護を最優先としていました。顧客の
ECSからGCPの通信でWorkload Identityを導入して、GCPのサービスアカウントキーを撲滅した - Adwaysエンジニアブログ
初めまして！エージェンシー事業でアプリケーションエンジニアをしている22年新卒入社の内原です。 今回は、私が所属するチームのシステム(AWS ECS/Fargate)にWorkload Identityを導入してGCPのさまざまなサービスへサービスアカウントキーを利用せずにアクセスする方法について紹介と思います。 背景 課題 基礎編: Workload Identityの導入方法 1. IAMロールの作成 2. Workload Identity PoolとProviderの作成 3. Workload Identityとサービスアカウントの連携 4. 認証構成ファイルの取得 5. 認証構成ファイルを利用してECSでアプリケーションを実行 応用編: Workload Identity連携におけるアクセス制限について 方法1: 属性マッピングと条件 方法2: サービスアカウントの紐付け時の条
キーを使用せずに AWS から Google Cloud にアクセスする方法 - G-gen Tech Blog
G-gen の藤岡です。当記事では、 Workload Identity 連携を使う ことで Amazon Web Services（以下 AWS）の EC2 から Google Cloud（旧称 GCP）の Cloud Storage（以下 GCS）への操作を サービスアカウントキーを発行せず に実現する方法を紹介します。 なお、Google Cloud 側の設定は Terraform を使用します。 概要 Workload Identity 連携とは サービスアカウントキーと Workload Identity の認証情報 実施内容 構成図 Terraform テンプレート全体像 事前準備 tfstate ファイル用 GCS バケットの作成 Google Cloud の設定（Terraform 解説） Terraform の初期設定 API の有効化 サービスアカウントの作成 / 権限
Google CloudのDatabase Migration Serviceを使ってデータベース移行を行う - Ateam Tech Blog
エイチームライフデザインでWebエンジニアをしている久保田です。 とあるシステムで、Amazon RDSからCloud SQLへの移行を行うためにGoogle CloudのDatabase Migration Service（DMS）を使用しているため、使用方法などをまとめます。 Database Migration Service（DMS）とは Google Cloudが提供するデータベース移行サービスです。 cloud.google.com オンプレ環境や他のクラウドサービスからGoogle Cloudへの移行を支援するサービスになります。 最小限のダウンタイムと少ない操作で、安全に移行を実現できます。 やりたいこと 今回説明する手順では、Amazon RDS（MySQL 5.6）からCloud SQL（MySQL 5.7）への移行を行います。 注意点と事前準備 今回の移行では事前に以
Google CloudのVPCを基礎から始める
こんにちは。Google Cloudのカスタマーエンジニアの有賀です。 この記事はGoogle Cloud Japan Advent Calendar 2022 の「今から始める Google Cloud」編の4日目の記事です。（3日目はTakayukiさんの「Cloud CDNのキャッシュと動的圧縮でコンテンツ配信のパフォーマンスを向上しよう」でした。） 本記事ではタイトルの通り、Google CloudのVPCの基礎的な内容をご紹介したいと思います。VPCを作ったり、ファイアウォールを設定したり、と Compute Engine VM を作れるようになるまでの下準備をします。（Compute Engineの話題は次の記事で取り上げられます。) TL;DR グローバルなVPCを設定できる。カッコイイ！マルチリージョン構成も簡単！ サブネットはリージョン単位。ゾーン単位ではない。 defa
BigQuery と Snowflake を徹底比較
最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。
動作検証しながら理解する「Kubernetes Gateway API」と「GKE Gateway Controller」 - ZOZO TECH BLOG
はじめに こんにちは、技術本部 データサイエンス部 MLOpsブロックの鹿山（@Ash_Kayamin）です。 みなさんは2021年4月にGCPから「GKE Gateway コントローラによる Kubernetes ネットワーキングの進化」という記事が投稿されたのを覚えていますでしょうか。 cloud.google.com この記事は、Kubernetesコミュニティが発表したKubernetes Gateway APIに対し、そのGKE（Google Kubernetes Engine）版実装であるGKE Gateway Controllerのリリースをアナウンスするものでした。 それから半年が経ち、本番導入の可能性を模索するためにKubernetes Gateway APIとGKE Gateway Controllerを調査、動作検証しました。本記事では、Kubernetes Gate
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
