Parquet形式への変換処理におけるストレージI/O削減 - MicroAd Developers Blog

はじめに マイクロアドでサーバサイドエンジニアをしているタカギです。 この記事は、JSON形式の生ログをParquet形式へ変換する際に発生する膨大なI/Oを削減した話になります。 背景 マイクロアドではデータ基盤移行プロジェクトを進めてきました。 様々な検証が進められるなか、懸念点として浮上した話が、ストレージI/O問題でした。 当時のデータ基盤の処理をそのまま移行した場合、I/O性能が処理量に追い付かない可能性がありました。 しかしながら、新データ基盤ではS3互換ストレージ（非常に高価）を使用しており、増設は可能な限り避けたい状況でした。 ということで、いかにしてI/Oを減らすことができるかについて、各方面から検討が行われました。 その結果、以下の処理を改善することで高いI/O削減効果が見込めそう、ということになりました。 JSON形式の生ログをKafkaからストレージに転送する処理