Fluentdのログを消失させたくない話 - nori3tsu's blog

fluentdのリトライ処理に失敗した場合に、ログを消失させたくない＋処理に失敗したログを復旧させたいという話です。 fluentdのBufferedOutput系のpluginは、retry_limitに記載されているリトライ回数を消費してしまった場合、"throwing away old logs."のwarnメッセージと共に、ログが消失します。 # buffer_type fileの場合は不明 それを防ぐため、secondaryというディレクティブが存在します。 secondaryは、matchディレクティブのretry_limitに記載されているリトライ回数を超過してしまった場合に実行されます。 そのため、処理に失敗した場合のバックアップ用途に使用できます。 例えば、fluent-plugin-xxxを使用してxxx上にデータを書き込む処理中に、xxxへの接続がダウンしている場合、

[zyxwv]

退避されたログを再度流す

[msh514]

fluentd ログ recovery