はてなブックマーク

AWS FireLensをfluent-bitで組み合わせてログを取得・整形した時の知見を覚え書きの形でまとめます。 今回は、Nginx、uWSGIの二つのコンテナから取得するログをいい感じにAthenaで見れるようにすることが目標。 前提として、Fargate上で、サイドカー構成でNginxのコンテナとfluent-bitのコンテナを一つのTask内で動かすものとします。 いい感じとは、 Nginxのアクセスログの内容がkey-value形式のjsonで表示できる ヘルスチェックのログなどいらないやつはS3にまで送られずにfluent-bit側で弾かれている エラーログはすぐに見たいのでS3だけでなくdatadog/cloudwatchにも送る こんな感じのを目指す。 この記事ではNginxだけについて書きます。後は同じようなやり方で簡単に追加できると思うので。 ##fluent-bit

CodeDeployで、たまにエラーも出ず、Installが延々と続いて終わらない、という現象が発生することがあります。 エラーが出ないと割とパニくると思うのでかなり軽い内容なのですが、記事にします。 自分にもこの事象は何度か起きたのですが、 CodeDeployのIAM Roleに必要な権限がない コンテナの設定ファイルにミスがあるなど、起動できない状態のコンテナをデプロイしようとしている 自分の場合は、いずれもこの2つのどれかが原因でした。 事例 参考までに、直近で自分が経験したInstallが延々と続いて終わらない事態について紹介します。 Fargateで、サイドカー構成でfluent-bitのコンテナとFireLensを使って他のコンテナのログをfirehoseに送ろうとした時、以下の制約に気づかず、 カスタム設定ファイルを使用する場合は、FireLens が使用するパスとは異なる