IoT関連のログをDatadogのLog Pipelineを利用して可視化してみた

こんにちは、Luup SREチームのにわです。 経緯 LuupではAWS IoT CoreのログをDatadogに入れて分析をしようと取り組んでいます。その中で、AWS IoT CoreのログはAWSIotLogsV2として送信されます。Luupでは、このAWSIotLogsV2に含まれるログには、 イベントごとにPublish-In, RuleExecution, Publish-Out, Disconnectなどのログが含まれています。 現時点では公式のLog PipelineはPipeline Libraryにないため、Datadogのサービスがひと固まりのAWSIotLogsV2として記録されるため、非常に見づらく検索性が悪く、Ingested logの種類分けによるDatadogのコスト分析も難しい状態になっていました。 本題 私の過去の経験として、以前Graylogというログ管