こんにちは、藤本です。 先月に Elastic Stack の 5.1.1 がリリースされました。その中で Logstash にキュー永続化機能のベータがリリースされていたので試してみました。 Logstash 5.1.1 released Logstash とキュー永続化 Logstash はインプット → フィルター → アウトプットと大きく 3つの処理でデータ転送を行います。例えばインプットはファイルからデータを取り込だり、AWS の S3 からオブジェクトを取り込んだり、JDBCを利用してデータベースへクエリを投げてデータを取り込んだりすることができます。フィルターはアクセスログといった決まった形式のログメッセージをフィールド分割したり、任意の日時フォーマットを異なる日時フォーマットに変換したり、フィールドを追加/複製/削除したりすることができます。アウトプットは Elastics
![Logstash にデータロストを防ぐ キュー永続化機能(Beta)がリリースされました | Developers.IO](https://cdn-ak-scissors.b.st-hatena.com/image/square/98aee201a185263cccbc74b56ee5e4689e50a646/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F03%2Felastic_logstash.png)