bzip2とgzipのParallel版、pbzip2とpigz - done is better than perfectbzip2とgzipのParallel版、pbzip2とpigz 巨大なテキストファイルを圧縮する必要に迫られたのですが、標準のbzip2やgzipは並列処理に対応しておらず、今どきのマシンだともったいないです。 そこで調べてみると、それぞれのParallel版が見つかりました。pbzip2とpigzです。 Ubuntu 14.04では公式のリポジトリに含まれているようです。早速インストールして、簡単に圧縮解凍のベンチマークを取ってみました。 使うデータは約15GBのcsvファイルです。ほとんどの要素が0のいわゆるsparseなデータなので、圧縮後のデータサイズは物凄く小さくなることが予想されます。 前準備 2つともUbuntuならコマンド一発で入ります。 $ sudo apt-get install pbzip2 $ sudo apt-get install pigz 実験 今回使用する
