Fluent BitとFluentd Firelensで起動するログルーティングのコンテナは同じタスク内にサイドカーとして起動します。 軽量なコンテナの方が嬉しいのでFluent Bitを採用しました。 参考： Fluent Bit による集中コンテナロギング | Amazon Web Services ブログ 設定ファイル込みのイメージ作成 同じログ内容を合計3箇所の出力先へ送るシンプルなFluent Bitの設定を作るところからはじめます。Fluent Bitの設定次第で特定のログであればCloudWatch Logsへ、それ以外はS3バケットへ送信も可能です。Fluent Bitのドキュメントまで読みきれなかったので細かい設定は断念。 Fluent Bitの設定ファイル作成 各プラグインの設定はFluent Bitドキュメントを参考に出力先を設定しました。 S3へ直接する保存する場合

最近、ECS環境を構築する機会に恵まれました。当初はDockerのログドライバにawslogsを 指定してログをCloudWatch Logsに配信したのですが、このやり方には問題がありました。 ログストリームに複数行のログが１行ずつ蓄積されていくことです。 例えば、Railsの開発をしているとき下記のログを確認しながら開発を進めていくと思いますが、これらが1行ずつログストリームに配信されてしまいます。これでは不具合が発生した際、詳細を把握するのが困難になります。 Started GET "/" for 172.21.0.1 at 2021-12-31 12:30:46 +0000 Cannot render console from 172.21.0.1! Allowed networks: 127.0.0.0/127.255.255.255, ::1 Processing by Wel

AlphaDrive、NewsPicks兼務でエンジニアしている大場です。 最近はNewsPicks Webの新基盤開発を行っています。 新基盤はNext.jsで開発していてAWSのFargateで構築しているのですが、このFargate上で取得したログをS3、New Relicに送るためにFluent Bitを導入しました。 今回はローカルでの実行・確認方法と、導入の過程で問題になったことを紹介します！ Fluent Bit とは ローカル実行・確認方法 イメージの選択 設定ファイルの準備 デバッグ用の設定を追加する 動作確認 ltsv形式のログを展開する Stream Processorを使う その他の設定について Fluent Bitで導入の過程でハマったこと S3 プラグインでgzip圧縮時に Content-Encoding: gzip が固定 S3オブジェクト内のデータを正確に

こんにちは、電通国際情報サービス デジタルイノベーション1部の加世です。 今回は「FluentBitを利用したログルーティング」を進める際に、「FluentBitについて理解する」ことを目的とした記事となっております。 具体的なFluentBitの使い所や設計を考える前段階として、本記事を参考にしていただければと思います。 Fluent Bitについて Fluent Bitの特徴 検証環境と処理フローについて Fluent Bit設計前の準備 データパイプラインの理解 データの構造化について まとめ Fluent Bitについて FluentBitは、データ（メトリクス、ログ、それ以外の生情報など）をInput情報として収集し、加工処理したうえで任意の転送先に転送します。 クラウドサービスプロバイダを利用するうえでは、既に「システム」から「サービス」に転送する仕組みを用意していることが多い