Zerofillデータの圧縮メソッドのベストチョイスは何か - Chienomi

コメント gzip/lz4はでかい 無難そうなgzipやlz4は、サイズが突出して大きい。 gzipは速くもない。 bzip2は小さいが遅い bzip2は突出して小さい。 だが、かなり遅く、時間をかけて丁寧に圧縮している感じ。 それでもシングルスレッドxzよりは速く、xzより小さい。 xzは-T0なら速いが、サイズは大きくなる -T0した場合、ほとんどスレッド数に比例して高速化できる。 もっとコア数の多いCPUなら最速だろう。 しかし、かなりサイズは増えている。 スレッド間でソースの情報を共有していないためだろう。 ただ、同じ割合だとすると、1TBに対して260MBほど。十分小さいため、速度重視ならxz -0 -T0はアリかもしれない。 zstdの-Tは無意味? zstdの場合、-T0しても速度的にもサイズ的にも変化がない。 効いてないのかとも思ったが、ソースを見てワーカーにオフロードする