BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化
Apache BeamでSlackのエクスポートデータをBigQueryに投入する - 詩と創作・思索のひろば
同じことをEmbulkでやったネタはこちらです: SlackのログをBigQueryにインポートする（手動） - 詩と創作・思索のひろば Slackワークスペースの管理者であれば、ワークスペースのデータをエクスポートできる。このデータをBigQueryに投入したら面白いかもしれないので、Apache Beamの素振りがてらやってみた。 Apache Beamはデータ処理のパイプラインを記述するためのフレームワークで、Google Cloud DataflowやApache Sparkなどのランタイムに対応しているとのこと（Copilotくん調べ）。SDKもいつかの言語に対応していて、おそらく機能が豊富な順にJava、Python、Go、TypeScriptなどがあるみたい。TypeScriptが使えると個人的には書き味がいちばんいいのだけど、使ってみたところあまり機能が揃っていないようだっ
GCP: BigQueryにおける「データセット」の作成と管理を理解する | DevelopersIO
BigQueryでは、データを格納するための要素として「データセット」というものが存在します。 当エントリでは、Google BigQueryにおける「データセット」の作成や管理の方法について、実際にコンソール上やプログラム経由で触ってみながら、基本的な部分について理解を深めていきたいと思います。 目次 BigQueryの「データセット」とは BigQueryデータセットの作成 BigQueryデータセットの変更 BigQueryデータセットの削除 まとめ BigQueryの「データセット」とは BigQueryにおける「データセットの概要」は以下公式ドキュメントにその内容がまとまっています。 データセットの概要 | BigQuery | Google Cloud Introduction to datasets | BigQuery | Google Cloud 日本語サ
SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。 他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2023 年の BigQuery 権限管理
データ分析基盤におけるオブザーバビリティの取り組み
