FargateのログをFireLens(カスタマイズしたfluent-bit)を使ってCloudWatchとFirehoseの両方に送るAWSFluentdfluentbitFargateFireLens やりたいこと ECS Fargateで動いているRailsのアプリケーションログをFirelens(カスタマイズしたfluent-bitのイメージ)を使ってCloudWatchと2つのFirehoseにそれぞれ送りたい。 ①ECS Fargate -> Firehose -> S3 (foo_log) -> Glue -> Athena ②ECS Fargate -> Firehose -> S3 (bar_log) -> Glue -> Athena ③ECS Fargate -> CloudWatch (全てのログ) にログを送りたいという想定。 (fooとbarはある特定の条件のロ

Nginxを例に、fluent-bitを使ってFireLensで集めた複数コンテナのログを加工・データストアに送信するAWSfluentbitFargateFireLens AWS FireLensをfluent-bitで組み合わせてログを取得・整形した時の知見を覚え書きの形でまとめます。 今回は、Nginx、uWSGIの二つのコンテナから取得するログをいい感じにAthenaで見れるようにすることが目標。 前提として、Fargate上で、サイドカー構成でNginxのコンテナとfluent-bitのコンテナを一つのTask内で動かすものとします。 いい感じとは、 Nginxのアクセスログの内容がkey-value形式のjsonで表示できる ヘルスチェックのログなどいらないやつはS3にまで送られずにfluent-bit側で弾かれている エラーログはすぐに見たいのでS3だけでなくdatadog/

これは、なにをしてくて書いたもの？ Fluent Bitで、複数行のログ（Multiline）を読み込んでみることを、試してみようかなと。 Multiline Fluent Bitで複数行のログを読み込むためには、tail inputプラグインの設定を調整します。 Tail - Fluent Bit: Official Manual 設定は、こちらに記載があります。 Multiline Configuration Parameters MultilineをOnにして、Parserを設定することで利用できるようです。 設定はちょっと違いますが、複数行のファイルを読むということについては、Fluentdのドキュメントの方が視覚的には わかりやすいかもしれません。 multiline - Fluentd 設定できる項目も、かなり似ていますし。複数行のログの例は、こちら。 Example たとえば