バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal

はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 本記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する

[knok]

軽さを追求するならlzopの方がよさそう。今時のGNU tarでも--lzoオプションついてる。まあpipeで渡せばなんでもいいんだけど

[vcc]

gzipよりスピードが速くデータサイズが変わらないZstandard(zstd) を利用することにした。

[kotaponx]

ブラウザの圧縮の標準も brotil じゃなくて zstd になんねーかな

[braitom]

なるほどzstdか。“バックアップデータの圧縮形式を gzip から zstd に変更することで、サーバの CPU 使用率を下げることができました”

[agricola]

きょうびのマルチコアCPUを使えば100MB/sオーバーのスループットを叩き出せるのが素晴らしい。

[n2s]

zstdはいいぞ。-9～13 あたりだとgzipに全ての面で勝る / あれっ、Debianだとtarの-Iに"zstd -11"とか指定できたんだけど、CentOSのは違うのかな？

[ys0000]

tar+gzipで困る場合の他の選択肢。zstdがいいとのこと。へー、そうなのか。

[tmatsuu]

gzipからzstdに。確かにzstdにしていいかもな。zstdはgzipに比べて高速＆CPU使用率は低い＆圧縮率高かった気がする。デメリットあったかな。