はじめに Elasticsearch を持っているなら、ログは余すことなく入れておきたくなるだろう。 パースは後でもできるので、とりあえず入れておくだけ。 ただし、情報量を落とすことなくログを入れたい。 ログは件数が意味をもつこともあるので、重複は避けたいし、欠損してほしくはない。 そのためには、個々のログに対して一意となる ID を指定すればよさそうである。 もしもログ送信元 (Logstash など) や送信先 (Elasticsearch) に異常が発生し再送の必要が生じても、 ID があれば重複なく格納できるようになるため、再送を十分に行えるなら欠損分を補えるだろう。 ちなみに、もし重複を許すなら、途中まで読んでいたログファイルをもう1度読み込みなおせばよい。 なお、もし再送を十分な回数できるなら、ID が(Elasticsearch の自動生成 ID など)ログに対して一意でなく