タグ

2022年12月14日のブックマーク (4件)

  • 2016年のOSS圧縮ツール選択カタログ - Qiita

    まだgzipで消耗し(略) 2016年、人類が待ち望んでいた、gzipを圧倒するOSS圧縮ツールzstd(Zstandard)がリリースされたにも関わらず、なんかあんまり話題になっていなくて寂しいので、ちょろいかんじの賑やかし比較記事を書きました。圧縮ツールのカタログ的に眺めていただけるかと思います。 はじめに (この記事で言う)圧縮ツールとは何か 圧縮ツールという呼び名は正確ではない(はず)です。平たく言えば、gzipやbzip2、xz、lz4などですが、人によっては、tarの裏側としてしか使ってなくて、聞いたこともないかもしれませんね。そういうときはまずgzipのmanpageとか読んでください。 しかし、そういうツールを何と呼べばいいのかわからないので、ここでは圧縮ツールと呼んでいます。 ややこしいですが、アーカイバではありません。アーカイブとは実態が一つのファイルになっているフォル

    2016年のOSS圧縮ツール選択カタログ - Qiita
    rydot
    rydot 2022/12/14
  • Zstandard - Real-time data compression algorithm

    Zstandard is a fast compression algorithm, providing high compression ratios. It also offers a special mode for small data, called dictionary compression. The reference library offers a very wide range of speed / compression trade-off, and is backed by an extremely fast decoder (see benchmarks below). Zstandard library is provided as open source software using a BSD license. Its format is stable a

    rydot
    rydot 2022/12/14
  • 続・圧縮アルゴリズム(実測) - hidekatsu-izuno 日々の記録

    以前のエントリでは、文献をベースに圧縮アルゴリズムの違いを一覧化したが、この度、Windows Subsystem for Linux がようやく一般公開されたので、その環境上で実際に各種圧縮プログラムでの圧縮効率を実測してみた。 データとして使ったのは、郵便番号ダウンロードの全国一括データ(約12MB)。容量的にはたいしたことはないけれども、18種類の圧縮プログラムを10回実行し平均を取るとなると結構な時間がかかる。 値は前回と同じく gzip を基準に正規化したものを記載している(ちなみに gzip 圧縮後サイズは、約1.8MB で 15%ほどのサイズに圧縮されている)。 圧縮プログラム圧縮後 サイズ圧縮時間圧縮時 最大メモリ量伸張時間伸長時 最大メモリ量 lzip(best) 0.69 31.40 164.17 2.61 17.47 xz 0.69 23.68 106.96 2.45

    続・圧縮アルゴリズム(実測) - hidekatsu-izuno 日々の記録
    rydot
    rydot 2022/12/14
  • GitHub - lz4/lz4: Extremely Fast Compression algorithm

    LZ4 is lossless compression algorithm, providing compression speed > 500 MB/s per core, scalable with multi-cores CPU. It features an extremely fast decoder, with speed in multiple GB/s per core, typically reaching RAM speed limits on multi-core systems. Speed can be tuned dynamically, selecting an "acceleration" factor which trades compression ratio for faster speed. On the other end, a high comp

    GitHub - lz4/lz4: Extremely Fast Compression algorithm
    rydot
    rydot 2022/12/14