はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する方法についてご紹介します。 この記事はこんな人にオススメ BigQuery の SQL のみで LLM を使った問合せシステムを構築したい BigQue
データ処理バッチでシェルスクリプトは便利 データ処理などでバッチプログラムを書くことは多い。Pythonなどのプログラム言語を使って全部記述する方法もあるし、最近ではGUIのワークフローを描けるツールも出てきている。 ただシェルスクリプトは依然として強い。シェルスクリプトは概して動作が高速で、イレギュラー処理に対しても柔軟に対応できる。gcloudやawscliなどのコマンドを使って記述できるので、できないことはない。機能がなければコマンドをインストールすることも可能。困ったときにも確実にゴールにたどり着くメリットがある。プログラム言語だとライブラリの出来に依存するし、ワークフロー系のツールは機能が実装されていないと詰む。イレギュラー処理を扱えない場合がある。 便利なツールが出てきている時代ではあるが、シェルスクリプトを覚えておくのはおすすめである。バッチ処理ではエラーハンドリングが必須だ
G-genの杉村です。Google Cloud (旧称 GCP) のフルマネージドなデータウェアハウスサービスである BigQuery の新しい料金体系「BigQuery Editions」が 2023年3月29日に発表され、2023年7月5日に施行されました。当記事ではその仕組みと、従来の料金体系との違いなどについて解説します。 概要 新しい価格体系 何が変わるか 値上げか、値下げか 当記事での解説 Physical storage 圧縮後データに対する課金 制約 Active と Long-term タイムトラベル・フェイルセーフへの課金 単価の違いと圧縮率 単価の違い 圧縮率の例 Physical storage への移行 BigQuery Editions BigQuery Editions とは 3つのエディション・料金表 クエリがプロジェクトをまたぐ場合 いつ Editions
G-genの杉村です。Google Cloud (旧称 GCP) の請求の仕組みについて解説します。 基本的な概念 概念と用語 請求先アカウントとは お支払いプロファイル 複数のプロジェクトと請求 Google Cloud パートナーによる請求代行（課金代行） 請求代行の仕組み 注意点 便利な機能 課金の分析 予算アラート 課金データの BigQuery エクスポート AWS との違い 基本的な概念 概念と用語 当記事では Google Cloud (旧称 GCP) の 請求の仕組み、また 請求先アカウント という言葉を、Amazon Web Services (以下、AWS) と比較しつつ解説します。 まずは請求先アカウントの仕組み、概念を図示します。 請求の概念 図の中にある、3つの用語を簡単に説明すると、以下のとおりです。 用語 説明 請求先アカウント 請求先情報を定義する設定オブジ
Cloud Audit Logsを解説。Google Cloud(GCP)の証跡管理 - G-gen Tech Blog
杉村です。Google Cloud (旧称 GCP) では Cloud Audit Logs (Cloud Audit Logging) という仕組みで、自動的に API コールの履歴が記録されています。しかし一部のログは有効化しなければ記録されないなど、中身を正しく理解しておく必要があります。当記事ではこの Cloud Audit Logs を解説します。 Cloud Audit Logs の基本 Cloud Audit Logs とは API コールとは Cloud Audit Logs で記録できるログ ログの出力先 Cloud Audit Logs の詳細 Cloud Audit Logs の料金 4 つの監査ログ No 1. 管理アクティビティ監査ログ No 2. データアクセス監査ログ No 3. システム イベント監査ログ No 4. ポリシー拒否監査ログ ログの保存期間 (
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山と申します。 本日は、Google Cloudの監査ログの長期保管とアクセス監査について、調査した内容を共有します。 参考資料として、Google Cloudのログ取得サービス、監査ログの全体像は下記のブログ、Google Cloudドキュメントにまとめられています。 G-genブログ Cloud Loggingの概念と仕組みをしっかり解説 Cloud Audit Logsを解説。Google Cloud(GCP)の証跡管理 Google Cloudドキュメント Cloud Audit Logs の概要 Cloud 監査ログのベスト プラクティス Google Cloud でのセキュリティ ログ分析 当ブログは G-gen × みずほ
Google Cloud（旧GCP）無料で使ってみた！クラウド初心者もかんたんに開設、始め方大解説（前編：説明編） - G-gen Tech Blog
こんにちは、G-genの荒井（@arapote）です。 みなさん、クラウドサーバーはご利用でしょうか？！ 既に利用されている企業様も多いかと思いますが、全国的に見たらまだまだオンプレサーバーを運用しているお客様も多くいらっしゃると思います。 今回はそんなオンプレサーバーを運用している方でも、かんたんにクラウドサーバーをさわっていただけるよう、無料でGoogle Cloud（GCP）をご利用いただける方法をご紹介いたします。 本記事は、こんな方に見ていただけると良いかと思います。 社内システムをクラウド化させたいため、PoCをやってみたい Google Cloud のプロダクトで気になるものがあるので、少しだけ触ってみたい 検証環境として必要な時にサーバーを構築・削除したりする環境がほしい Google Cloud を実際に触りながら学習したい だけど、お金をかけたくない！！ ←重要 そもそ
Google Cloud（旧GCP）無料で使ってみた！クラウド初心者もかんたんに開設、始め方大解説（後編：実践編） - G-gen Tech Blog
こんにちは、G-genの荒井（@arapote）です。 前編ではGoogle Cloud (GCP) の利用開始に向けて、説明や準備を進めました。 今回の後編では実際にGoogle Cloud を開始する手順や、開始後のポイントを解説します。 前編のブログはコチラになります。必要なものを用意して利用手続きを始めましょう。 blog.g-gen.co.jp Google Cloud 利用開始 初期セットアップ Google Cloud コンソール画面について コンソール画面の見方について Google Cloud を始める際のポイント 予算アラート 無料トライアル枠の確認 各種プロダクトの始め方 各種機能の学習 Google Cloud ドキュメント ※本記事の内容は2022年3月6日時点の情報となります。 Google Cloud 利用開始 初期セットアップ では早速Google Clou
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
はじめにBigQueryは完全マネージドな、ペタバイトスケールかつコスパのよいデータウェアハウスとして知られております。そのため、ほぼリアルタイムで膨大な量のデータを解析することを可能としております。 便利なツールである一方、BigQueryで取り扱うデータには個人情報が含まれていることもあり、適切なアクセス制御が望まれます。 本記事では、Resource Managerのタグ機能を利用して、Terraformによるアクセス制御の実装を紹介したいと思います。 Resource ManagerのタグとはGoogle Cloudのリソースに対して、Key-Valueペアでタグを付与してIAMの条件に含めることができる機能です。 例えばBigQueryのデータセットであれば、Key:environmentに対してValue:dev, stg, prdを用意したり、Key:dataset_type
フィードバックを送信 監査ログを使用する Google Cloud サービス コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このページでは、監査ログを書き込む Google Cloud サービスと Google Workspace サービスについて説明します。 監査ログの概要と監査ログの各タイプの意味については、Cloud Audit Logs の概要をご覧ください。 Google Workspace 監査ログの概要については、Google Workspace の監査ログをご覧ください。 次の表の GA は、サービスに対してログタイプが一般提供されていることを示しています。ベータ版またはプレビューは、ログタイプが利用可能であるものの、下位互換性のない方法で変更される可能性があり、SLA または非推奨ポリシーの対象ではないことを示しています。詳細については
【実画面付き解説】Cloud Identityを構築する手順－アカウント登録の方法について – TD SYNNEX Blog
Cloud Identity を登録する手順について説明します。「Google Workspace の契約がない」場合の「Cloud Identity Free Edition の登録」を対象としています。 はじめに この記事では、「Google Workspace の契約がない」場合における「Cloud Identity Free Editionを登録」する方法についてご説明します。 「Google Workspace の契約がある」場合や、「Cloud Identity Premium Edition を登録」する場合は、この記事の説明対象に含まれていません。 既に Google Workspace の契約がある場合に Cloud Identity を登録する際は、Cloud Identityサブスクリプションを組織に追加します。 手順を進める前に、必ず現在の契約状況と内容をご確認くだ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する
bashスクリプトのエラー処理のベストプラクティス – marketechlabo
BigQueryの料金体系(BigQuery Editions)を徹底解説 - G-gen Tech Blog
Google Cloudの請求の仕組みを分かりやすく解説してみた - G-gen Tech Blog
Google Cloudの監査ログの長期保管とアクセス監査を考える - G-gen Tech Blog
Google BigQuery で実行できる SQL と実行できない SQL | 株式会社トップゲート
タグを利用したBigQueryのアクセス制御 | フューチャー技術ブログ
監査ログを使用する Google Cloud サービス | Cloud Logging