エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 人気コメント
- 新着コメント
関連記事
fluent-plugin-kinesis Ver2 の圧縮オプションがすごい話 - ハラミTech
Amazon Kinesisへデータを送る方法として、Fluentdを使用するのはよくあることかと思います。 その際使... Amazon Kinesisへデータを送る方法として、Fluentdを使用するのはよくあることかと思います。 その際使用するプラグインはaws-fluent-plugin-kinesisでしょう。 このプラグイン、とてもいいんですが、 問題があるとすると、ログレコードの圧縮が難しい ことです。 ログレコードを圧縮することが出来れば 1シャードあたりの1MB/sec 制限内でより多くのレコードを処理できる シャード数を減らせる Lambdaをトリガーしている場合、Lambda実行回数が減らせる というメリットがあります。 かつては zlib_compression というオプションがあったようですが、いつの間にか非推奨になっていたようです。 ところが最近「Version 2.0」がリリースされ「compression」オプションが新たに追加されていました!! さっそく試してみます。 前提 K