fluent-logger-rubyで並列にログをFluentdに送信する方法 - 2025-02-18 - ククログ

こんにちは。Fluentdチームの藤田です。 今回はfluent-logger-rubyという、Rubyプログラムから手軽にログをFluentdに送信するためのライブラリを取り上げます。 Rubyには並列処理を手軽に扱えるparallelというライブラリがあり、マルチプロセスまたはマルチスレッドで処理が行えるようになります。 これらを組み合わせて、並列的にfluent-logger-rubyでログを送信したときに問題なくログが送信できるか調べてみました。 実装次第では受信データが破損するケースがあるため、注意が必要です。 並列処理でfluent-logger-rubyを使う 受信したログが壊れるケース 以下のようにParallel.eachの外でFluent::Logger::FluentLoggerのオブジェクトを作成すると、期待通りに動作しない可能性があります。 require "fl