入社４ヶ月でBigQueryの課金額を減らすために考えたこと - 弁護士ドットコム株式会社 Creators’ blog
データ分析基盤室の otobe（𝕏@UC_DBengineer） です。 事業規模が拡大し、大規模なデータの管理が必要になるにつれて、SnowFlake や BigQuery のようなハイパワーな DWH サービスでデータを加工するケースは多いです。 その際、想定外な高額請求が起こる原因のひとつに、クエリが最適化されておらずスキャン量が増大しているケースがあります。 そのため、クエリのスキャン量を監視・管理することが課金額を減らすうえで有効な手段となることがあります。 本記事では、前半で BigQuery で課金されるスキャン量を監視・管理するまでのプロセスを振り返り、 後半で BigQuery の課金額を減らすために簡単にチェックできることについてお話しします。 BigQuery クエリにおけるスキャン量を監視・管理するに至った理由 BigQuery の課金額が想定より大幅に増加してい
次世代データ基盤：データレイクハウスを Google Cloud で実現する
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
Google Cloud の IDaaS「Identity Platform」で作る、さまざまな認証パターン
Identity Platform を使うと、さまざまな認証パターンが構築できる！ この記事は2023年10月6日に行われたナレッジワークさん主催のイベント「Encraft #7 AppDev with Google Cloud」で発表したセッションの解説記事です。現地でご参加いただいた皆さん、オンラインでご視聴いただいた皆さん、ありがとうございました！ 私のセッションでは Identity Platform を使ったさまざまな認証パターンについてご紹介しました。セッション後、いくつかのご質問や「こんなパターンもあるよ！」というコメントもいただきました(ありがとうございます！)。この記事では、セッション内でご紹介した内容に加え、別解、または発展系とも言えるいくつかのパターンについてもご紹介します。 Identity Platform とは まずはこの記事でメインで扱う Identity P
CI/CDをCloud Buildへ乗り換えたついでにリリースを10分以上短縮した話 - Commune Engineer Blog
はじめに コミューンではこれまでCI/CDのツールにCircleCIを使っていましたが、最近Cloud Buildへ切り替えました。 結論から言うと、切り替えにあたってパイプラインの中身とプロセスを今一度見直したところ、以下のように改善しました。 ビルド回数：2回 -> 1回 本番環境のリリース完了時間：約13分~24分 -> 約3分 今回の記事では切り替えるきっかけとなった出来事やCloud Buildの設定、注意点について書きます。 はじめに タフな仕事始め その場限りの対応ではなくあるべきを考える あるべきを設計する パイプラインのステップ ステップ1 ステップ2 Cloud Buildの設定 構成ファイルの作成 サービスアカウントの設定 トリガーの設定 開発環境用のプロジェクト 本番環境用のプロジェクト 注意点 cloudbuild.yamlの多段構成は避ける 自前のタグをつけたリ
Broadcom、Google Cloud Armor を使用して DDoS 攻撃をブロック | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 2 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 Broadcom は、ハードウェアとソフトウェアの専門知識を活用したエンタープライズ セキュリティ ソリューションのテクノロジー リーダーです。統合された Symantec サイバーセキュリティ ソフトウェアなど、埋め込みセキュリティ ソリューションの幅広いポートフォリオを全世界で提供しています。Broadcom は 2021 年に、Google Cloud DevOps Awards を受賞しました。 Broadcom はエンタープライズ セキュリティ ソリューション インフラストラクチャをアマゾン ウェブ サービス（AWS）から Google Cloud に移行するにあたって、環境のネットワーク セキュリティ インフラストラクチャの保護を最優先としていました。顧客の
Google CloudのDatabase Migration Serviceを使ってデータベース移行を行う - Ateam Tech Blog
エイチームライフデザインでWebエンジニアをしている久保田です。 とあるシステムで、Amazon RDSからCloud SQLへの移行を行うためにGoogle CloudのDatabase Migration Service（DMS）を使用しているため、使用方法などをまとめます。 Database Migration Service（DMS）とは Google Cloudが提供するデータベース移行サービスです。 cloud.google.com オンプレ環境や他のクラウドサービスからGoogle Cloudへの移行を支援するサービスになります。 最小限のダウンタイムと少ない操作で、安全に移行を実現できます。 やりたいこと 今回説明する手順では、Amazon RDS（MySQL 5.6）からCloud SQL（MySQL 5.7）への移行を行います。 注意点と事前準備 今回の移行では事前に以
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
