こんにちは! シェルフィー株式会社で SRE を担当している石田です。 弊社では、本番のワークロードにて Fluent Bit を使っております。 今回、Fluent Bitの処理について理解を深めたので記事を書いてみました。 世界中で使われているとても有名なミドルウェアなので、参考になればとても嬉しいです。 はじめに 弊社では、ECS on Fargate で稼働しているバッチジョブのログをサイドカーコンテナ(Fluent Bit)を使い Datadog に連携しています。 ログのサイズが 16 KB 以上ある場合、shim-logger の仕様により、そのログは分割されてしまうため、 Fluent Bitにて分割されたログの再結合処理を行う必要性があります。 この点についてはDeNAさんの記事がわかりやすいので、詳細はそちらを参考にしてもらえたらと思います。 AWS ECS on Fa
![Fluent Bit の低レイヤーに飛び込んでみて、わかったこと](https://cdn-ak-scissors.b.st-hatena.com/image/square/1f485577268a6a80bbee75c8cdcae4e1ee1563d8/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--njPvXLH2--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3AFluent%252520Bit%252520%2525E3%252581%2525AE%2525E4%2525BD%25258E%2525E3%252583%2525AC%2525E3%252582%2525A4%2525E3%252583%2525A4%2525E3%252583%2525BC%2525E3%252581%2525AB%2525E9%2525A3%25259B%2525E3%252581%2525B3%2525E8%2525BE%2525BC%2525E3%252582%252593%2525E3%252581%2525A7%2525E3%252581%2525BF%2525E3%252581%2525A6%2525E3%252580%252581%2525E3%252582%25258F%2525E3%252581%25258B%2525E3%252581%2525A3%2525E3%252581%25259F%2525E3%252581%252593%2525E3%252581%2525A8%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3A%2525E7%25259F%2525B3%2525E7%252594%2525B0%2525E4%2525BD%2525B3%2525E4%2525BD%252591%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmOTk1YmIzNmIuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3A%2525E3%252582%2525B7%2525E3%252582%2525A7%2525E3%252583%2525AB%2525E3%252583%252595%2525E3%252582%2525A3%2525E3%252583%2525BC%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252583%252580%2525E3%252582%2525AF%2525E3%252583%252588%2525E3%252583%252581%2525E3%252583%2525BC%2525E3%252583%2525A0%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Y5NTMyODBlMWUuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)