ログファイルの圧縮方法

圧縮レベル2と3では、bzip2よりずっと短い所要時間で高い圧縮率が得られています。興味深いのはレベル4で、所要時間が大きく増えたのに圧縮率が下がっています。xzはレベル4からLZ法の一致文字列を探すアルゴリズムが変わるので、これが裏目に出ているようです。 bzip2より2割以上高い圧縮率が得られるレベル7以上では、所要時間は5倍以上になります。ログファイルの圧縮方式が混ざるのは何かと面倒なので、5倍の所要時間でこの程度の圧縮率の差ではxzに変更する気にはなれないです。 圧縮率はそうでもないですが、xzの伸張速度の速さはとても魅力的です。デフォルトの圧縮率のファイルを伸張するのに、bzip2が1分22秒かかるのに対してxzは25秒しか掛かりません。ログを集計するときに伸張速度が3倍近く速いのはとても有利です。 もし圧縮方法を決め直せるならxzにするかもしれません。適宜レベルを調節してbzi

[wataken44]

Niagaraさんぱねぇ

[karupanerura]

xz知らなかった

[belgianbeer]

xz やbzip2にパラレル版があるのか。コア数多いと効く

[tmatsuu]

ログ量が多い場合はさらに粒度細かくしてる。%Y%m%d%Hで時間単位で出力。 / “ftp-adminの憂鬱: ログファイルの圧縮方法”

[akachochin]

mmapたん・・・。

[wasai]

うちも変えようかな

[y0sh1kaw]

"xzが遅いのは、bzip2よりずっと高い圧縮率を得ようとした場合"

[new3]

　ログファイルの圧縮に何を使うか。サイズをとるか、圧縮時間を取るか、伸張速度をとるか…

[honeybe]

へぇ。知らないことばかり。あとで。

[naka-06_18]

Xeon/UltraSPARC の話が面白い。

[syuu1228]

“pxzやpxizといった並列版もある”

[smbd]

"xzは圧縮レベルによって、所要時間と圧縮率のバランスが劇的に変わります。bzip2と比べて一概に遅いわけではありません。" へぇー

[yass]

" gzipとbzip2の圧縮率はアクセスログでは約2倍違います / デフォルトの圧縮レベルでgzipで圧縮すると195MBに、bzip2では104MBになります。その代りに所要時間はずっと長くなります。Xeon X5660 (2.8GHz)のサーバーで測ると / 12.8倍 "

[n2s]

bzip2との比較。-3以下と-4以上では内部アルゴリズムが切り替わっていて圧縮率が逆転する場合あり。bzip2と同様xzにも並列版あり。なおkfujiedaさんは圧縮率よりも伸張速度を重視。