Fluentd @type copy利用時のデータ共有の挙動と注意点

足立区の花火大会、今年も楽しみにしていたのですが…まさかの直前中止。夜空に咲くはずだった大輪の花火を想い、PCの画面に咲く大量のログを眺めるSREチームの塚田です。さて、ログといえばFluentd。その柔軟性と拡張性の高さは魅力ですが、設定によっては思わぬ挙動に遭遇することもあります。特に、イベントを複数の経路に分岐させる @type copy と、データ構造を加工する parser フィルターを組み合わせた際に発生しがちな「データの参照共有」の問題は、気づかぬうちにデータ欠損を引き起こす可能性も。 本記事では、この現象がなぜ起こるのか、具体的な検証コードとログを交えながら解説させていただければと思います。 Fluentdにおけるイベント処理の基本 まず、Fluentdがデータをどのように扱うか、基本をおさらいできればと思います。 Fluentdは、入力されたデータ（イベント）を「レコード