FirebaseAnalyticsをBigQueryから眺める
この記事は eureka Advent Calendar 2018 13日目の記事です。 PairsのGlobal版(台湾・韓国展開中)のAndroidエンジニアをしているt-kurimuraです。愛すべきJリーグが終わってしまい2018年をすでに終えたような気分です。残った力を振り絞り2本目のAdventCalendarです。 ※ タイトルではGoogleAnalytis For Firebaseを便宜的に FirebaseAnalyticsと表記しています。 FirebaseとはFirebaseとは、Googleによって提供されるフロントエンド開発者に向けた統合開発プラットフォームです。現在、FirebaseにはBeta版も含めおよそ20の機能があり、サービスの立ち上げ → 改善 → グロースといったすべてのサービス開発のフェーズをサポートしています。 https://firebase
実践！BigQuery で DELETE！ - Repro Tech Blog
Repro インフラチーム (SRE + 分析基盤) の山下です。 BigQuery で特定のレコードを削除する際の注意点やある程度大きなテーブル (20 TB・300 億レコード・500 パーティション程度) で実際に削除してみた際の挙動を共有します。 注意 2019 年 1 月頃に確認した仕様や挙動を書いています。現在の仕様や挙動とは異なる可能性があります。 BigQuery の DELETE サポート 以前は利用できなかったようですが、現在はベータ機能として提供されています。 cf. https://cloud.google.com/bigquery/docs/reference/standard-sql/dml-syntax?hl=ja#delete_statement 制限 BigQuery には様々な制限がありますが、特に DELETE に関係しそうな次の制限について引用を交え
BigQuery の ベストプラクティス 〜 2017年度版 〜 - Qiita
この記事はRetty Inc. Advent Calendar 2017 2日目です。 昨日は @bokeneko さんによる 「うわっ…私のリコメンド、ビール多すぎ…？」doc2vecの拡張とリコメンドシステムへの応用 でした。 ということで、みなさん こんにちは。 RettyでSoftware Engineerをやってます@tkngueです。 Retty においては日々の分析業務〜データサービス開発の範囲で BigQueryが利用されています 僕は使い始めてから、およそ半年というところでBigQueryの知見も溜まってきたところで せっかくなのでベストプラクティスを本稿においてまとめてみたいと思います。 Disclaimer: BigQueryの基本的な構文の説明はしません ( クエリリファレンス を参照ください) Standard SQL を利用した BigQueryの説明です。Le
Cloud Firestore のコレクションを日次で Bigquery にロードする - Qiita
はじめに Cloud FirestoreはFirebase Realtime Databaseの後継であると同時に、Cloud Datastoreの後継でもあるNoSQLのデータベースです。 それらのDBの利用に適していたサービスは、今後Cloud Firestoreの利用を検討していくことになると思います。 現在ベータではありますが、先日のFirebase Summitでアジアリージョンで間もなく利用可能になるというアナウンスもありました。 近いうちにGAになることも期待できるのではないでしょうか。 目的 Firestoreはクエリ機能もありますが、RDBSほど複雑なクエリが実行できないため、 分析のためBigqueryを利用したいケースも多いと思います。 この記事では定期的にFirestoreの内容をBigqueryにロードする方法を紹介します。 全体の流れ Cloud Schdule
Query and view logs overview | Cloud Logging | Google Cloud
Send feedback Query and view logs overview Stay organized with collections Save and categorize content based on your preferences. This document describes how you query, view, and analyze log entries by using the Google Cloud console. There are two interfaces available to you, the Logs Explorer and Log Analytics. You can query, view, and analyze logs with both interfaces; however, they use differen
BigQueryの事始め。Web Consoleと戯れる。 - Morning Girl
Burikaigiも終わり、引っ越しも落ち着いたので、ようやく中途半端に書いていたBlogをせこせことまとめています。 今回はGoogleが提供する、これだけでもGCP（Google Cloud Platform）を使う価値があるであろう、BigQueryについてまとめてみました。 cloud.google.com BigQueryとは？ Googleが提供する「フルマネージドのエンタープライズ向けアナリティクス データ ウェアハウス」です。 2012年にリリースされているものですが、もともとGoogleの内部でGmailや検索エンジンなどのビッグデータ処理に使われいたものを、フルマネージドサービスとして提供したのが始まりとのこと。 そのためペタバイト級のデータも数秒で処理することが可能と、あまりにも私が扱うデータ量からはかけ離れすぎて、実感が持ちづらいサービスです。 そんななかでも、わか
BigQueryでテーブルを日付ごとに分ける必要がなくなったり、古いテーブルのストレージ代が安くなったりするらしい - 唯物是真 @Scaled_Wurm
↓の記事にBigQueryの予定している新機能などが書いてあったので個人的に気になったのを紹介 cloud.google.com テーブルの自動パーティショニング まだアルファ版らしいけど、テーブルの自動パーティショニングが使えるようになるらしい BigQueryではクエリの度にテーブルがすべてスキャンされてしまうので、1日ごとなどの適切な粒度でテーブルを分ける必要があった 1つのテーブルに全部の日付分のデータをいれたような巨大なテーブルに何度もクエリを投げると、そのテーブルの大きさに応じて料金が請求されるので下記の記事のようなことになってしまう BigQueryで150万円溶かした人の顔 - Qiita たとえば[test.data_20160301], [test.data_20160302]のように日付ごとにテーブルを作ると、TABLE_DATE_RANGE関数を使って以下のようにア
BigQueryのテーブル定義をCSVに出力する手順 | takemikami's note
BigQueryで、 指定したデータセット配下のテーブル定義を、CSVファイルに出力する手順を説明します。 bqコマンド、jqコマンドがセットアップ済みで、 terminalからGCP環境へアクセス出来る状態になっている前提で、 以下の手続きを実施します。 以下のシェルスクリプトを作成します。 bq-schema-csv.sh #!/bin/sh DATASET_NAME=$1 if [ "$DATASET_NAME" == "" ]; then echo "usage bq-schema-csv.sh [dataset]" exit 1 fi echo "table,name,type,mode,description" > schema.csv for t in `bq ls -n 1000 $DATASET_NAME | awk '$2 == "TABLE" {print $1}'`
BigQuery vs Athena vs RedShift vs Hive - Qiita
オブジェクトストレージの料金 お金は大事ですね． まずはストレージの料金から比べます． 料金は各種操作にかかりますが，特にドミナントなのはストレージ代と転送量だと思うのでこれ以外はめんどくさいのでスルー． 料金系は変動が激しそうなので，まずリンクを貼ります． S3 GCS とりあえず検証時点では，こちらの想定するデータ量で以下の通りでした． (東京リージョン) S3 Storage料金: $0.025 / GB 転送料金: $0.14 / GB GCS Storage料金: $0.023 / GB 転送料金: $0.14 / GB よっぽどデータが大きくない限り大した差にはならないので，決め手にはならないでしょう． 後日談の方でも少し述べますが，ストレージの機能としては若干S3の方が優れている気がしたので，若干高いのもまぁ妥当だと思います． 料金 こちらもまずはリンクを. Athena R
BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
BigQueryのコストに対する恐怖心を払拭する - Qiita
はじめに 大量データをクラウドに格納してデータ分析に利用してみようと思い、 速い・安いと言われるGoogleCloudPlatform(GCP)のBigQueryを触ってみた… かったのですが、以下の記事にもあるように予想外に課金されてしまった事例を小耳に挟んでいたため二の足を踏んでいました。 BigQueryで150万円溶かした人の顔 BigQueryのコストに対する恐怖心を払拭すべく公式ドキュメントを料金面にフォーカスして読み解き、 不用意に大量課金されないよう気をつける点をまとめたのが本記事となります。 今後も改定される可能性もありますので、利用の際にはご自身でも確認していただければと思います。 また、情報が誤っていた場合はご指摘いただければ幸いです。 課金される操作 BigQueryで課金される内容は ・ストレージ代金 ・データ操作代金 です。単純ですね。 ただし、データ操作は回数
メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 | メルカリエンジニアリング
Mercari Advent Calendar 2017 の9日目はメルカリ SRE(Site Reliability Engineering) チームの @syu_cream がお送りします。 メルカリでは様々なデータを BigQuery に格納して、データ利用を可能にしています。 BigQuery に格納しているデータの具体例としては、 Web サーバや API サーバのアクセスログやアプリケーションのログ、 以前当ブログで紹介した Pascal のイベントログ などが挙げられます。 メルカリのデータ分析基盤に関する情報はこれまでに以下のようなブログやスライドで紹介しております。 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 fluent-agent-hydraで省エネログ転送 メルカリのデータ分析基盤 / me
データ分析基盤としての BigQuery 運用のベストプラクティス - ZOZO TECH BLOG
あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知見をベストプラクティスとして紹介したいと思います。 ログデータのテーブル名に日付を入れる BigQuery でログを保存する場合は、テーブル名の最後に yyyymmdd 形式で日付を入れることをお勧めします。理由は二つあり、１つ目はスキャン対象となるデータ量を抑えられるため、２つ目が Web UI でのテーブル管理が容易になるためです。 処理データ量の抑制 まず、スキャンするデータ量を抑えられるという点ですが、BigQuery ではクエリを発行
fluentd x embulk x bigqueryで作るバッチ集計処理基盤
@joker1007 メインのバッチ集計処理基盤として bigqueryを利用するために今取り組んでいること、 そしてそれを支えるfluentdとembulkの bigqueryプラグインの現状を解説します。 self.inspect @joker1007 Freelance (Ruby/Rails/JS/Redshift/Bigquery) パーフェクトRubyとかパーフェクトRailsとか 最近はアプリより基盤寄りの仕事が多い (株)Reproで仕事中 Repro Inc.の最新情報 - Wantedly Hireling Now 資料作成サボってて時間がやばくなってしまい、 業務時間使って資料作ってたので、 宣伝を入れるからってことで許してもらいました BQの利用背景 MySQLの限界 将来的にもデータ量は増え続ける 割とヘビーな集計処理がある できるだけ同時に算出したい 構成イメー
【GCP入門編・第12回】 BigQuery を使って気軽にビッグデータの解析を行ってみよう！ | 株式会社トップゲート
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
数百GBのデータをMySQLからBigQueryへ同期する | メルカリエンジニアリング
SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQueryを以前から使用しており、プロダクションのMySQLからBigQueryへデータを同期して分析に活用してきました。特に商品を表すテーブルは重要です。 しかし、後述する課題によりBigQueryにアップロードすることができなかったため、分析用のMySQLDBのスレーブとBigQueryを併用せざるを得ませんでした。とはいえ不便なので以前からBigQueryのみで商品テーブルも分析対象としたい要望がありました。 課題 メルカリでは販売済み商品を物理削除していないため、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Making Sense of the Metadata: Clustering 4,000 Stack Overflow tags with BigQuery k-means
GitHub - embulk/embulk-output-bigquery: Embulk output plugin to load/insert data into Google BigQuery
リクルートライフスタイル流！分析基盤との賢い付き合い方