メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 | メルカリエンジニアリング

Mercari Advent Calendar 2017 の9日目はメルカリ SRE(Site Reliability Engineering) チームの @syu_cream がお送りします。 メルカリでは様々なデータを BigQuery に格納して、データ利用を可能にしています。 BigQuery に格納しているデータの具体例としては、 Web サーバや API サーバのアクセスログやアプリケーションのログ、 以前当ブログで紹介した Pascal のイベントログ などが挙げられます。 メルカリのデータ分析基盤に関する情報はこれまでに以下のようなブログやスライドで紹介しております。 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 fluent-agent-hydraで省エネログ転送 メルカリのデータ分析基盤 / me