[B! BigQuery] astk_fのブックマーク

トレタにおけるBigQueryの活用法について - トレタ開発者ブログ

サーバーサイドエンジニアの芹沢です。トレタは検索用のデータストアとしてBigQueryを使用しています。奇抜な使い方はしていませんが、トレタにおけるBigQuery活用法を紹介します。システム構成 BigQuery周りのシステム構成を１枚の図にまとめるとこんな感じです。珍しいものは使っていませんがその分安定した構成かと思います。 BigQueryにimportしているデータ大きく分けて以下2種類のデータをBigQueryにimportしています。 1.APIが参照しているRDBのデータ APIが参照しているRDB(Amazon Aurora)のslaveからデータをimportしてデータ分析や調査用のデータ検索業務に使っています。 2.各種ログ以下のログをfluentdでBigQueryに保存しています。 nginxのaccessログ railsで1リクエスト単位で出力しているカ

astk_f 2017/06/01

リンク

メルカリのデータサイエンスチームと分析エコシステムのはなし | メルカリエンジニアリング

※各プロダクト名の頭の”Google”は省略しています ※もちろん実際にはGoogle社のツール以外にも様々な分析用プロダクトが使われています各ツールの詳細についてはWeb上の良質な情報がたくさんあるので、説明はそちらに譲るとして、ここではそれぞれの簡単な特徴とメルカリでの活用の仕方について主に述べていきます。 ◆ 1.BigQuery “弊社分析の中核的存在” 利用シーン：データの集計どんなツールか Google BigQuery SQLの超速いやつどんな大きなデータでも、複雑なクエリでも、高速で結果を返してくれる頼れるアニキメルカリの分析での使い方速いは正義メルカリは多くのユーザを抱えているため、そのログデータも非常に巨大です。そのため、通常のSQLでは計算に時間がかかりすぎるということが多々発生します。 BigQueryはとにかく「高速」の一言。なのでトライアンドエ

astk_f 2017/05/21

リンク

BigQueryで150万円溶かした人の顔 - Qiita

※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井慧）巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。しかし、使い方によってはかなり大きな金額を使

astk_f 2015/12/07

リンク

Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜

Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 Backend Author: cubicdaiya エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。メルカリにおけるログデータ分析メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQu