Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside
こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work
fluentdからダッシュボードフレームワークDashingにpostするプラグインを作りました - koeだめ 過去アーカイブ[〜2013-12-14]
Github: GitHub - bash0C7/fluent-plugin-dashing: Fluentd output plugin to post data to dashing rubygems: fluent-plugin-dashing | RubyGems.org | your community gem host いつものように、fluent-gemからインストールください。 Dashingとは see: Dashing - The exceptionally handsome dashboard framework. そういえば[ruby][dashing]Dashingを使って簡単きれいなダッシュボード - こしば技術にっき(2012-11-24)なエントリーも書いていたのでした。 やってること http://shopify.github.io/dashing/#da
![fluentdからダッシュボードフレームワークDashingにpostするプラグインを作りました - koeだめ 過去アーカイブ[〜2013-12-14]](https://cdn-ak-scissors.b.st-hatena.com/image/square/95531982cd623516808b3d7b457c4dd44c9de3a7/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117126976353052%2F17680117126976355532%2F1550818824)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
