サクサク読めて、アプリ限定の機能も多数!
過去ログをバルクで読み込ますのにelasticsearchで重複登録が発生しててバッファサイズとかチューニングで試行錯誤中。chunk_limitを256kとかにすると発生しないけど処理すげー遅い。CPUもメモリも余裕あるのに。。
girled のブックマーク 2014/12/22 17:26
fluentd elasticsearch 送信と受信でログ行数に差異がある時 - Qiita[limit][fluentd][elasticsearch][Server]過去ログをバルクで読み込ますのにelasticsearchで重複登録が発生しててバッファサイズとかチューニングで試行錯誤中。chunk_limitを256kとかにすると発生しないけど処理すげー遅い。CPUもメモリも余裕あるのに。。2014/12/22 17:26
このブックマークにはスターがありません。 最初のスターをつけてみよう!
qiita.com/8kurohige82014/03/05
かなり、感覚的な表現で申し訳ないですが参考程度に。。。。orz fluent plugin elasticsearch で detached forwarding server とかゆー送信サーバでエラーが出て retryとか勝手に何回かされると ログが重複する。...
3 人がブックマーク・2 件のコメント
\ コメントが サクサク読める アプリです /
過去ログをバルクで読み込ますのにelasticsearchで重複登録が発生しててバッファサイズとかチューニングで試行錯誤中。chunk_limitを256kとかにすると発生しないけど処理すげー遅い。CPUもメモリも余裕あるのに。。
このブックマークにはスターがありません。
最初のスターをつけてみよう!
fluentd elasticsearch 送信と受信でログ行数に差異がある時 - Qiita
かなり、感覚的な表現で申し訳ないですが参考程度に。。。。orz fluent plugin elasticsearch で detached forwarding server とかゆー送信サーバでエラーが出て retryとか勝手に何回かされると ログが重複する。...
3 人がブックマーク・2 件のコメント
\ コメントが サクサク読める アプリです /