軽量な Go 製カラムナフォーマット変換ツール columnify を作った話 - Repro Tech Blog

こんにちは。業務委託として SRE チームのお手伝いをしている @syucream です。 本記事では Repro にて開発した、 Go 製のカラムナフォーマットへのデータ変換ツール columnify について、開発背景や技術的な取り組みを紹介します。 なぜカラムナフォーマットか？ ことのおこり 事業がスケールすると共に扱うログの量が増えることは、喜ばしい反面さまざまな悩みをもたらします。その中でも顕著なものの一つとしてコストの問題が挙げられます。 膨大なログデータはログに対するストレージ料金を増大させると共に、分析や可視化に際してクエリで求められるコンピュートのコストも無視できなくなっていきます。 近頃 Repro でもコンテナのログの管理においてこの問題が顕著になってきました。Repro のバックエンドシステムは ECS 上のコンテナで実現され、ログの閲覧・管理のため外部のログ収集サ

[a_bicky]

前から欲しいと思ってたやつ

[edwardkenfox]

良い仕事だ

[civitaspo]

中間表現で arrow 使うの良さそう

[yujiorama]

any -> Avro -> Parquet な変換

[narita1980]

これは便利！