概要 Fluentd v0.12から利用できるFilterの機能を利用して、ログから正規表現でマッチしたものを取り除くfluent-plugin-ignore-filterを作りました。 grep-filterと何が違うのか Fluentd v0.12以降には grep Filter Plugin という @sonots さんの fluent-plugin-grep を取り込んだフィルタが組み込まれています。 こちらはログから正規表現で「マッチしたものを抽出する」プラグインです。 grepフィルタにはexcludeオプションがあるため、こちらを利用することで不要なログを取り除くことは一応可能です。 しかし、こちらのプラグインは「マッチしたログを通す」ためのフィルタのため、 マッチしたものを除外する目的で利用しようとすると、パース済みのログに対しand条件で除外できないという問題がありました
![fluentdで不要なログを取り除くfilterプラグインを作った - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/38f58a28e0497534394845ecde69c57127e78b2c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9Zmx1ZW50ZCVFMyU4MSVBNyVFNCVCOCU4RCVFOCVBNiU4MSVFMyU4MSVBQSVFMyU4MyVBRCVFMyU4MiVCMCVFMyU4MiU5MiVFNSU4RiU5NiVFMyU4MiU4QSVFOSU5OSVBNCVFMyU4MSU4RmZpbHRlciVFMyU4MyU5NyVFMyU4MyVBOSVFMyU4MiVCMCVFMyU4MiVBNCVFMyU4MyVCMyVFMyU4MiU5MiVFNCVCRCU5QyVFMyU4MSVBMyVFMyU4MSU5RiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmUwM2U0Yjk2Yzk5YmNhZDM4NWY2NWFmM2FjYjNjZGQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwYnVuZ291bWUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ0NDE0NWJmMTgzNDg0YmJmNzg3MDRmZjI5MjcwYTNj%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D81f8030625f6967390587e2783305a1e)