過去ログをバルクで読み込ますのにelasticsearchで重複登録が発生しててバッファサイズとかチューニングで試行錯誤中。chunk_limitを256kとかにすると発生しないけど処理すげー遅い。CPUもメモリも余裕あるのに。。

girled のブックマーク 2014/12/22 17:26

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/185206346/comment/girled" data-user-id="girled" data-entry-url="https://b.hatena.ne.jp/entry/s/qiita.com/8kurohige8/items/7f76ad5826eecc2f5afb" data-original-href="https://qiita.com/8kurohige8/items/7f76ad5826eecc2f5afb" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fqiita.com%2F8kurohige8%2Fitems%2F7f76ad5826eecc2f5afb" data-user-icon="/users/girled/profile.png">fluentd elasticsearch　送信と受信でログ行数に差異がある時 - Qiita</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/limit">limit</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/fluentd">fluentd</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/elasticsearch">elasticsearch</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/Server">Server</a>]</li></ul><br><p style="clear: left">過去ログをバルクで読み込ますのにelasticsearchで重複登録が発生しててバッファサイズとかチューニングで試行錯誤中。chunk_limitを256kとかにすると発生しないけど処理すげー遅い。CPUもメモリも余裕あるのに。。</p><a class="datetime" href="https://b.hatena.ne.jp/girled/20141222#bookmark-185206346"><span class="datetime-body">2014/12/22 17:26</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！