かなり、感覚的な表現で申し訳ないですが参考程度に。。。。orz fluent plugin elasticsearch で detached forwarding server とかゆー送信サーバでエラーが出て retryとか勝手に何回かされると ログが重複する。。。orz 300万行ぐらい送って、elasticsearch側では330万行ぐらいになってた。。。orz fuluentdのバッファメモリをバッファファイルへ変更 ・送信先のバッファファイルが3個以上になったら送信を待つ ・送信元のバッファファイルが2個を超えたら処理を待つ みたいな監視をこさてゆっくりゆっくりと送ってあげる。 送信元のfluentDのchank limitあたりを調整 300万行を90分かけて送ってあげたらドンピシャだったぜ。 【追記】 fluentDが買ってにリスタートしやがった。 しかも送信行数と受信行数に
![fluentd elasticsearch 送信と受信でログ行数に差異がある時 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a85c68875f500c9135c47fe2720ed644997f9d40/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9Zmx1ZW50ZCUyMGVsYXN0aWNzZWFyY2glRTMlODAlODAlRTklODAlODElRTQlQkYlQTElRTMlODElQTglRTUlOEYlOTclRTQlQkYlQTElRTMlODElQTclRTMlODMlQUQlRTMlODIlQjAlRTglQTElOEMlRTYlOTUlQjAlRTMlODElQUIlRTUlQjclQUUlRTclOTUlQjAlRTMlODElOEMlRTMlODElODIlRTMlODIlOEIlRTYlOTklODImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTY3YWI3ZDY5OWI4YTFjMjhiMTczY2QwYWM3NjE1OThh%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrdS0tLS1ybyZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmI2NmNkZjMyYmY4NWU1OTIyMjgwZGM4YjFmNDUyNTI%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dab420151022cb82c43827dc999977411)