FargateのログをFireLens(カスタマイズしたfluent-bit)を使ってCloudWatchとFirehoseの両方に送るAWSFluentdfluentbitFargateFireLens やりたいこと ECS Fargateで動いているRailsのアプリケーションログをFirelens(カスタマイズしたfluent-bitのイメージ)を使ってCloudWatchと2つのFirehoseにそれぞれ送りたい。 ①ECS Fargate -> Firehose -> S3 (foo_log) -> Glue -> Athena ②ECS Fargate -> Firehose -> S3 (bar_log) -> Glue -> Athena ③ECS Fargate -> CloudWatch (全てのログ) にログを送りたいという想定。 (fooとbarはある特定の条件のロ

Nginxを例に、fluent-bitを使ってFireLensで集めた複数コンテナのログを加工・データストアに送信するAWSfluentbitFargateFireLens AWS FireLensをfluent-bitで組み合わせてログを取得・整形した時の知見を覚え書きの形でまとめます。 今回は、Nginx、uWSGIの二つのコンテナから取得するログをいい感じにAthenaで見れるようにすることが目標。 前提として、Fargate上で、サイドカー構成でNginxのコンテナとfluent-bitのコンテナを一つのTask内で動かすものとします。 いい感じとは、 Nginxのアクセスログの内容がkey-value形式のjsonで表示できる ヘルスチェックのログなどいらないやつはS3にまで送られずにfluent-bit側で弾かれている エラーログはすぐに見たいのでS3だけでなくdatadog/

これは、なにをしてくて書いたもの？ Fluent Bitで、複数行のログ（Multiline）を読み込んでみることを、試してみようかなと。 Multiline Fluent Bitで複数行のログを読み込むためには、tail inputプラグインの設定を調整します。 Tail - Fluent Bit: Official Manual 設定は、こちらに記載があります。 Multiline Configuration Parameters MultilineをOnにして、Parserを設定することで利用できるようです。 設定はちょっと違いますが、複数行のファイルを読むということについては、Fluentdのドキュメントの方が視覚的には わかりやすいかもしれません。 multiline - Fluentd 設定できる項目も、かなり似ていますし。複数行のログの例は、こちら。 Example たとえば

こちらの記事は Gunosy Advent Calendar 2020 の5日目の記事です。 昨日の記事はコウ（@yuanzhi.ke）さんの 新卒入社して半年が経ちました vol.4 〜クーポン改善〜でした！！ おはようございます！こんにちは！こんばんは！ 最近は goでlambda ばかり書いている @625 です。 世の中、生きているとlambdaのログをいい感じにaggregateしつつs3に出力しないといけない！みたいな状況、ありますよね。 そんなときには lambda + cloudwatch logs + subscription の firehose が役に立ちます！ 全体の説明とかはだいたい以下のawsのドキュメントを見ていただければ良いので、cloudwatch logsのログをgoで書かれたlambdaを使っていい感じの形式に変えてs3に出力したいって部分だけを書きま