AWS Kinesis Firehoseとkinesis-agentを利用してログをs3に収集する | AI tech studioこんにちは、アドテク本部でインフラエンジニアをしております山下といいます。 去年の話にはなりますが、2017年8月末、待ちに待っていた Kinesis Firehose が東京リージョンでも利用可能になりました。 利用可能になってすぐFirehoseの導入を行い現在運用している状態なので、溜まったノウハウを書いていきたいと思います。 Kinesis Firehoseとは これまでAWS東京リージョンでKinesisと言えば、唯一利用できていたサービスは Kinesis Stream でした。 Streamに対してデータを流し、別途ワーカーを用意してデータをStreamから出してデータを加工したり Redshiftに投入したり、そのままs3にputすることで保存を行うといった使い方をされていたかと思います。 8月に利用が可能になったKinesis Firehose は Delivery St
