fluent-plugin-bigquery の設定 - Qiita

BigQuery側で「1リクエスト500行まで」という制限があるので500とする。 500ちょうどにしておくとエラーになることがあるという情報があるので、300程度にしておくとよいかもしれない(コメント欄参照)。 buffer_chunk_limit チャンクごとの最大バイト数。 BigQuery側で「1リクエスト1MBまで」という制限があるので1000000とする。 1MBちょうどにしておくとエラーになることがあるという情報があるので、768k程度にしておくとよいかもしれない(コメント欄参照)。 buffer_queue_limit プラグイン側でいくつのチャンクをメモリに保持しておくか設定できる。 デフォルト値は1024となっている。 小さすぎるとキューが溢れてエラーとなってしまうので、メモリ量と相談して大きめの値にしておくとよい。 1チャンクの最大サイズが1MBなので、デフォルトの1

[kasumani]

fluent-plugin-bigquery の設定 例えばサーバのアクセスログであれば1レコードのサイズは小さいため、10MB制限より先に1万レコードの制限に達すると思われる。よって、秒間のリクエストが20を超えないようにしておくとよい。 Tag

[tagomoris]

スループットの問題でスレッド数増やすときは tables で複数テーブルを指定してシャーディングするようにしたほうがいいですよ