M.T.Burn の BigQuery 利用事例 - #bq_sushi tokyo #2
class: center, middle, inverse # M.T.Burn の BigQuery 利用事例 ## #bq_sushi tokyo #2 ### 守山晃生 ([@cou929](http://twitter.com/cou929)) --- class: inverse # 自己紹介 - 守山晃生 ([@cou929](http://twitter.com/cou929)) - Software Engineer - [FreakOut, Inc.](https://www.fout.co.jp/) - [M.T.Burn](http://mtburn.jp/)  --- class: inverse # 会社紹介 - [M.T.Burn 株式会社](http://mtburn.jp/) 
Go言語でBigQueryのクエリを実行してみる - Qiita
概要 Go言語からBigQueryのクエリを実行してみたので、そのメモ。 import Google提供のBigQueryのライブラリと、認証周りで使うライブラリをimport。 "google.golang.org/api/bigquery/v2" "golang.org/x/net/context" "golang.org/x/oauth2/jwt" cfg := jwt.Config{ Email: account, PrivateKey: pem, Scopes: []string{bigquery.BigqueryScope}, TokenURL: "https://accounts.google.com/o/oauth2/token", } ctx := context.Background() client := cfg.Client(ctx) conn, err := bi
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 Backend Author: cubicdaiya エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。 大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQu
Error messages | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Error messages This document describes error messages that you might encounter when working with BigQuery, including HTTP error codes and suggested troubleshooting steps. For more information about query errors, see Troubleshoot query errors. For more information about streaming insert errors, see
BigQuery enterprise data warehouse
Google is named a leader in The Forrester Wave™: Data Lakehouses Q2 2024 report. BigQuery is a fully managed, AI-ready data analytics platform that helps you maximize value from your data and is designed to be multi-engine, multi-format, and multi-cloud. Store 10 GiB of data and run up to 1 TiB of queries for free per month. New customers also get $300 in free credits to try BigQuery and other Goo
『アメーバピグへのGoogle BigQuery導入までのもろもろ設定記』
この記事は、CyberAgent エンジニア Advent Calendar 2014 の6日目の記事です。 5日目はnekoruriさんのAmeba等で利用しているOpenStack Swiftを利用したオブジェクトストレージ 7日目はoinumeさんのGoLangでJavaのenumっぽいライブラリ作った話です。 こんにちは、ピグ事業部のIshimura(Twitter, Github)といいます。アメーバピグのサーバサイドエンジニアをしています。ユニットテストとリファクタリングが好物です。 今回はタイトル通りなのですが、アメーバピグでGoogle BigQueryに実際にログを突っ込むまでに行った設定を記します。アメーバピグではBigQueryを各種施策の検討・評価のための分析用に利用する予定です。 BigQueryの特徴やメリットはググれば(Googleだけに)たくさん出てくるので
Google App Engine for GoからBigQueryへStreaming Insertしてみる - The Round
注：古い記事の為、内容が最新ではない可能性がありますm(＿ ＿)m こんちわ！マツウラです。 前回に引き続きGAE/GoからBigQuery APIを使用してみます。 今回は、BigQueryにデータのリアルタイム挿入を行うStreaming Insertをやってみます。 参考：Streaming Data Into BigQuery - Google BigQuery — Google Developers まずは、Streaming isertについてGoogle Developersから解説を引っ張ってきました。 今更必要ないって方は、Google APIs Client Librariesを使用してBigQuery APIを叩く下記サンプルコードへどうぞ。 Streaming Data Into BigQuery BigQueryではデータを読み込むためjobを実行する代わりに、t
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery cost controls now let you set a daily maximum for query costs
BigQueryクエリの処理の流れ
Google BigQueryについて 紹介と推測