ログのテイルベースサンプリングを OpenTelemetry Collector のカスタムプロセッサとして組み込む - newmo 技術ブログ

はじめに 背景 Datadog における Ingestion コストの課題 OpenTelemetry Collector によるテレメトリ転送 テイルベースサンプリング ヘッドベースサンプリングとの違い 懸念点 1. リソース消費 2. スケーリングの難しさ ログのテイルベースサンプリングとは？ OpenTelemetry Collector のカスタムプロセッサ インターフェースの実装とビルド 実装を少しだけ見てみる 1. 受信とグルーピング (ConsumeTraces) 2. イベントループと時間管理 (iter / loop) 3. バッファリングと遅延データの処理 (processTrace) 4. メインの判定処理 (samplingPolicyOnTick) OpenTelemetry Collector に組み込む まとめ はじめに この記事は newmo Enginee