pbzip2 と php の bzip2 関数 - いちいの日記
http://compression.ca/pbzip2/ PBZIP2 is a parallel implementation of the bzip2 block-sorting file compressor that uses pthreads and achieves near-linear speedup on SMP machines. bz2は圧縮後のサイズが小さくていいんだけど、ちょっと遅いのが玉に瑕、でした。pbzip2はブロックごとのソートを複数のCPUで並列処理する、というすごい素直な実装のようです。pbzip2で圧縮したものはbzip2で普通に解凍できるとのこと。 てすと ということでさっそくテスト。 環境は cpu: Core Duo T2500 2GHz, mem: 2GB, Debian etch, gzip 1.3.5, bzip2 1.0.3, pbz
pbzip2でマルチコアをフル活用して圧縮しよう at nkjmkzk.net
A Place to discuss Oracle VM, Linux and Other Great Software.普通のbzip2やgzipでは圧縮が1スレッドで行われます。つまりCPUコアがいっぱいあってもそのマルチコアを活かした圧縮処理ができません。例えばコンパイル処理ではmake -j8などとすることで8スレッドで並列実行することができ、ビルド時間を大幅に短縮できます。これと同じ要領でマルチコアをフル活用して圧縮したい人にはpbzip2がおすすめです。 pbzip2オフィシャルサイト 各OSディストリビューション用にPre-Builtパッケージもあるようですが、今回はソースからビルドします。ビルドにはc++コンパイラ(gcc-c++）とbzip2-develが必要なのでインストールしておきます。これはredhat系ディストリビューションであればyumとかで標準のレポジトリから
マルチコアCPUを活用したファイル圧縮 | OSDN Magazine
デスクトップ・コンピューターに搭載されているCPUのコアは2個から4個、やがては8個へと増加の一途だ。それに応じてソフトウェアが計算量の大きな処理を並列処理する能力の重要性も増している。圧縮関連のツールでは、 mgzip と pbzip2 がマルチコアに対応しており、前者は圧縮処理に、後者は圧縮とその復元処理にマルチコアを活用することができる。 どちらの場合も、圧縮ファイルの復元は、それぞれの標準ツールで可能だ。つまり、pbzip2の圧縮ファイルにはbzip2を、mgzipの圧縮ファイルにはgunzipを使う。Fedora 8の場合、pbzip2のパッケージが標準リポジトリーにあり「yum install pbzip2」でインストール可能。一方、mgzipは、ほとんどのディストリビューションでパッケージがなく、ソースからインストールする必要がある。 しかも、コンパイルでエラーが発生する。z
pbzip2 を使う | Carpe Diem
Parallel BZIP2 (PBZIP2) という並列処理版の bzip2 があります。今まで Apache のアクセスログは、bzip2 で圧縮していましたが、pbzip2 を試してみることにしました。 CentOS の場合、pbzip2 バージョン 1.0.5（最新版は 1.1.0） が EPEL から提供されているので、yum 一発でインストールすることができます。pbzip2 は、SRPM があるので、手軽に最新版も試すこともできます。 $ sudo yum install -y pbzip2 圧縮時間の測定のために 50MB ほどのアクセスログを bzip2 と pbzip2、それぞれで圧縮してみました。 この測定したサーバは、Xeon L5530 で HT 有効のサーバです。 まずは、bzip2 から。 $ time bzip2 -kv –best access_log 6
pigz - Parallel gzip
A parallel implementation of gzip for modern multi-processor, multi-core machines Welcome to the pigz home page. You can download the latest source code right here: pigz source code version 2.8 (19 Aug 2023) in tar.gz format (118K, SHA-256 checksum eb872b4f0e1f0ebe59c9f7bd8c506c4204893ba6a8492de31df416f0d5170fd0, GPG signature) Latest version of pigz and its signature (version-independent links) p
高速ならばどんなデータも圧縮して送れる·Snappy MOONGIFT
SnappyはGoogle製の高速なデータ圧縮/解凍ライブラリ。 SnappyはC++製のオープンソース・ソフトウェア。巨大なファイルを送信する場合、圧縮して送るのがマナーだ。数GBのファイルであっても圧縮すれば半分くらいになる可能性がある。送信元、送信先双方にとって嬉しい仕組みだ。 逆にサイズの小さいものはあまり圧縮を意識されることが少ない。だがちりも積もれば山となる、特にデータの送受信量がとても多いGoogleではそう感じられるだろう。圧縮率は高くないが、とにかく高速な圧縮/解凍ライブラリがSnappyだ。 Snappyはデータの圧縮/解凍ライブラリだ。とは言っても圧縮率は高くない。zlibに比べて20〜100%も大きいらしい。だがSnappyの目的は高い圧縮率にある訳ではなく、その高速さだ。圧縮の場合で250MB/s、解凍の場合で500MB/sという高速処理ができるようになっている。
ログローテーションはrotatelogsで、圧縮はpbzip2で
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Apache HTTP Serverで日ごとに別のファイルにログを出力するのは、標準添付されているrotatelogsでできるのですが、意外と知られていないようです。アクセスログならこんな感じです。 CustomLog "|/インストール先/bin/rotatelogs /出力先/access_log.%Y%m%d 86400 540" combined マニュアル通りなら、この設定ではrotatelogsが起動してから24時間で出力先のログファイルが切り替わりそうに見えます。しかし、実際にはrotatelogsはtime(2)の返す値を86400秒で丸めてから開始
Compress javascript and css. Amazing code compression. Quick,easy and free!
Compress javascript or css code and reduce their size and improve page load times. Quick,easy and free!Best way to compress javascript and css Make your code faster for freeVersion 0.5.7
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parallel BZIP2 - Benchmark Results
Index of /files/ruby-tar
Bitbucket
Google Snappy（インストールとベンチマークまで）
@cowtowncoder with this version, I can successfully run your benchmark.
Daisuke Okanohara / 岡野原 大輔 on Twitter: "今のsnappyをファイル圧縮に使うとファイル全体を読み込んでから圧縮するので大きいファイルの場合はメモリを食う。ブロック分割の例がMeasure()にあるからやるならこれで。ただ元々RPCなどメモリ上にあるデータを圧縮するのが目的だからファイル処理充実してもしょうがないかも"
snappy -A fast compressor/decompressor - Google Project Hosting