Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside

こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work

[joker1007]

一応プラグインメンテをやってる身としては、ずっとサポートしたいと思ってたんだけど、今自分でほとんど使ってなくて同じことをJavaでやっちゃってたので、なんか申し訳ない。

[tmatsuu]

新しいAPIであるBigQuery Storage Write APIを使ったFluentd向けプラグイン。高速かつ安価。わいわい

[migrs]

gRPC 実装の Storage Write API に対応させた話

[harukasan]

BigQueryのStorage Write APIよさそう & fluent-plugin-bigquery がStorage Write API対応するとより良さそう