Future Directions in Lossless Compression
My current guesses on where this field could go. This is biased towards asymmetric codecs (offline compression for data distribution, not real-time compression/decompression). LZ4: Higher ratio using near-optimal parsing but same basic decompressor/instruction set (note I doubt the LZ4 arrow can move up as much as I've illustrated). LZHAM: Faster decompression by breaking out literals/delta litera
ZPAQ
Incremental Journaling Backup Utility and Archiver zpaq is a free and open source incremental, journaling command-line archiver for Windows, Linux and Mac OS/X. Incremental means that when you back up your hard drive, for example: zpaq add e:\backup.zpaq c:\* then only those files whose last-modified date or size has changed since the previous backup are added. For 100 GB of files, this typically
zindex - index your compressed text files
Scratching your own itch @mattgodbolt / @mattgodbolt My problem 5000+ read-only archived JSON log files on NFS Average 450MiB gzipped, 4GiB uncompressed Need to find entries by a unique ID zgrep $ zgrep -E '^\{"eventId":63181572,' audit.log.gz {"eventId":63181572,...} Takes 14 seconds zgrep has to uncompress every byte of the file to search it! Could index file ...but then would need to be able to
ソート済の整数列を圧縮する件
圧縮されたソート済の整数列ってのは汎用的なデータ構造で、たとえば検索エンジンの転置インデックスとか、いろんなところで使うわけです。で、検索エンジンの場合は速度重要なので、PForDeltaとか様々なデータ構造が研究されてる。 一方、H2O には、ブラウザキャッシュに載ってない js や css をサーバプッシュする仕組み「cache-aware server push」があって、何がキャッシュされているか判定するためにブルームフィルタを全ての HTTP リクエストに含める必要がある。 で、ブルームフィルタを圧縮しようと思うと、ブルームフィルタってのはソート済の整数列として表現できるので、これを圧縮しようって話になる。 検索エンジン等で使う場合は速度重要だけど、HTTPリクエストに載せる場合は空間効率のほうが重要になる。ってことで、空間効率が理論限界に近いゴロム符号（の特殊系であるライス符号
Introducing Brotli: a new compression algorithm for the internet
The latest news from Google on open source releases, major projects, events, and student outreach programs. At Google, we think that internet users’ time is valuable, and that they shouldn’t have to wait long for a web page to load. Because fast is better than slow, two years ago we published the Zopfli compression algorithm. This received such positive feedback in the industry that it has been in
Googleフォトは「画質が落ちる」 は本当か？驚異の圧縮技術により比較した結果が凄かった。 | デジタル＠備忘録
Googleフォト使ってますか？ 巷では「画質が落ちる」から使わないほうが良いなどと言われていますが実際にはどうなのでしょうか。気になりますよね。超拡大してまで画質の検証を行いましたのでご覧頂ければと思います。 多くの方が使っているGoogleフォトサービス。昔は容量無制限のサービスとして認知度が高かったですね。 現在は15GBまでなら無料で使用することが可能です。 容量無制限は2021年6月1日で終了となりました。 2021年6月1日からは無制限ではなくなり、保存容量に従って課金が必要になります。 新しいサービスではGoogle Oneでストレージを購入するとグーグルフォトでもストレージを使うことが可能です。 その辺りの詳しい話は最後にして、とりあえずは画像の圧縮がどのていど写真を劣化させているのかを見ていこうと思います。 Googleフォトには”圧縮して保存”と”オリジナルを保存”の２
Improving compression with a preset DEFLATE dictionary
Improving compression with a preset DEFLATE dictionary03/30/2015 A few years ago Google made a proposal for a new HTTP compression method, called SDCH (SanDwiCH). The idea behind the method is to create a dictionary of long strings that appear throughout many pages of the same domain (or popular search results). The compression is then simply searching for the appearance of the long strings in a d
How gzip uses Huffman coding
I wrote a blog post quite a while ago called gzip + poetry = awesome where I talked about how the gzip compression program uses the LZ77 algorithm to identify repetitions in a piece of text. In case you don’t know what LZ77 is (I sure didn’t), here’s the video from that post that gives you an example of gzip identifying repetitions in a poem! I thought this was a great demonstration, but it’s only
Deflate vs Grip: Which Tire Pressure is Best for Vehicle?
In the fast-paced digital landscape of today, website performance is paramount. Users expect lightning-fast loading times, and search engines prioritize speed when ranking websites. One key aspect of optimizing website performance is compression. In this article, we will delve into the world of general compression techniques and how they can enhance your website’s speed and overall user experience
Sawada Masahiko: GINインデックスの進化 - PostgreSQL9.4
Friday, December 19, 2014 GINインデックスの進化 - PostgreSQL9.4 この記事はPostgreSQL Advent Calendar 2014の12/19担当分です。 昨日の12月18日、ついにPostgreSQL9.4がリリースされました！！ 0. はじめに PostgreSQL9.4では様々な新機能が組み込まれたほか、既存機能の進化もありました。 その中でも全文検索等に使われる”GINインデックス”では、 インデックスサイズの縮小 特定ケースでの検索速度向上 の2つの大きな進化がありました。 本記事では、これらの内容について具体的にどのような改善があったかをご紹介いたします。GINインデックスって？全文検索って？ という方はこちら(pg_bigmを用いた全文検索のしくみ)をご参照ください。 1. インデックスサイズの縮小 9.4では
HTTP2のヘッダ圧縮 Huffman Encode の原理とメリット・デメリット - Qiita
この記事は HTTP2 Advent Calendar 2014 の 16 日目の投稿です。 HTTP2 では、通信の遅延を小さくするために、ヘッダのサイズを小さくする機構を備えています。 その仕様は HPACK と呼ばれ、下記の組み合わせで構成されます。 Literal ASCII Encoding 非圧縮のエンコーディングと言える。 Huffman 今回の主人公。 出現頻度が高い文字ほど、小さいデータサイズで表現。 Index 「Static Table に事前定義されている値」または「既にインデックス化した値」を番号で指定する。 圧縮に大きく寄与する。 今回は、Huffman Encoding の原理とメリット／デメリットを解説します。 gzip じゃダメなんですか？ HTTP/1.1 では、Body を gzip エンコードすることでサイズを圧縮することが出来ます。ヘッダも同じよう
zram vs zswap vs zcache Ultimate guide: when to use which one
What the hell are they? how are they different (I've written my understanding in an answer below) In the Zswap system, when a page is evicted from the zswap to the actual swap is it stored in a compressed from? (or is it decompressed before storing?, AFAICT it is still compressed but i can't be sure) What is the current state of zcache? it was apparently removed or something in 3.11. What does thi
Efficient Data Storage for Analytics with Parquet 2.0 - Hadoop Summit 2014
Efficient Data Storage for Analytics with Parquet 2.0 - Hadoop Summit 2014 Apache Parquet is an open-source columnar storage format for efficient data storage and analytics. It provides efficient compression and encoding techniques that enable fast scans and queries of large datasets. Parquet 2.0 improves on these efficiencies through techniques like delta encoding, dictionary encoding, run-length
ning/compress - GitHub - Basic LZF codec, compatible with standard C LZF package
LZF Compressor Overview LZF-compress is a Java library for encoding and decoding data in LZF format, written by Tatu Saloranta (tatu.saloranta@iki.fi) Data format and algorithm based on original LZF library by Marc A Lehmann. See LZF Format Specification for full description. Format differs slightly from some other adaptations, such as the one used by H2 database project (by Thomas Mueller); altho
Previous Versions
This site contains documentation for HPE Ezmeral Data Fabric release 7.8.0, including installation, configuration, administration, and reference content, as well as content for the associated ecosystem components and drivers. This section contains information about installing and upgrading HPE Ezmeral Data Fabric software. It also contains information about how to migrate data and applications fro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.vldb.org/pvldb/vol8/p1816-teller.pdf
フーリエ変換と画像圧縮の仕組み
intermediatesql.com
http://blog.monoweb.info/blog/2014/08/07/zram/
Should Cloudera or MapR be used for Hadoop distribution?