fluent-plugin-kinesis Ver2 の圧縮オプションがすごい話 - ハラミTech

Amazon Kinesisへデータを送る方法として、Fluentdを使用するのはよくあることかと思います。 その際使用するプラグインはaws-fluent-plugin-kinesisでしょう。 このプラグイン、とてもいいんですが、 問題があるとすると、ログレコードの圧縮が難しい ことです。 ログレコードを圧縮することが出来れば 1シャードあたりの1MB/sec 制限内でより多くのレコードを処理できる シャード数を減らせる Lambdaをトリガーしている場合、Lambda実行回数が減らせる というメリットがあります。 かつては zlib_compression というオプションがあったようですが、いつの間にか非推奨になっていたようです。 ところが最近「Version 2.0」がリリースされ「compression」オプションが新たに追加されていました！！ さっそく試してみます。 前提 K