pigz - Parallel gzip
A parallel implementation of gzip for modern multi-processor, multi-core machines Welcome to the pigz home page. You can download the latest source code right here: pigz source code version 2.8 (19 Aug 2023) in tar.gz format (118K, SHA-256 checksum eb872b4f0e1f0ebe59c9f7bd8c506c4204893ba6a8492de31df416f0d5170fd0, GPG signature) Latest version of pigz and its signature (version-independent links) p
bzip2とgzipのParallel版、pbzip2とpigz - done is better than perfect
bzip2とgzipのParallel版、pbzip2とpigz 巨大なテキストファイルを圧縮する必要に迫られたのですが、標準のbzip2やgzipは並列処理に対応しておらず、今どきのマシンだともったいないです。 そこで調べてみると、それぞれのParallel版が見つかりました。pbzip2とpigzです。 Ubuntu 14.04では公式のリポジトリに含まれているようです。早速インストールして、簡単に圧縮解凍のベンチマークを取ってみました。 使うデータは約15GBのcsvファイルです。ほとんどの要素が0のいわゆるsparseなデータなので、圧縮後のデータサイズは物凄く小さくなることが予想されます。 前準備 2つともUbuntuならコマンド一発で入ります。 $ sudo apt-get install pbzip2 $ sudo apt-get install pigz 実験 今回使用する
マルチコアCPUで 圧縮・解凍をする方法 | さぶみっと！JAPAN
圧縮解凍を速くする 最近のマシンはコアが複数あることも多いです。 Linuxのファイル圧縮でよく使われるgzipですが、マルチコアに対応してません。 つまりどれだけたくさんコアを積んでても1つのコアしか使われないので、マシンの性能が発揮できないことがあります。 gunzipの互換アプリ「pigz」は圧縮解凍を並列処理（マルチコア対応）でやってくれて速くなるようです。 http://www.zlib.net/pigz/ 本当に速くなるのか検証して見ました。 インストール ※バージョンが上がる場合もあるのでhttp://www.zlib.net/pigz/で確認してください $ wget http://zlib.net/pigz/pigz-2.2.5.tar.gz $ tar xvzf pigz-2.2.5.tar.gz $ cd pigz-2.2.5 $ make こんな感じで出来たファイル
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
