Use Fast Data Algorithms | Joey Lynch's Site
Disclaimer: There are lies, damn lies, and benchmarks from some random person on the internet. If you are considering taking some of the advice in this post please remember to test your specific workloads, which might have different bottlenecks. Also the implementation quality in your particular software stack for your particular hardware matters a lot. For this post I’ll be playing with a ~5 GiB
spliceを使って高速・省メモリでGzipからZIPを作る - knqyf263's blog
良い話を含むので概要の最初だけでも読んでもらえると幸いです。この話が実用的かと言うと多分全然実用的ではないので理解しても仕方ないかなと言う気がします。 概要 ファイルフォーマット gzip 10-byteのヘッダ 拡張ヘッダ ファイル本体 フッタ（trailer） zip ローカルファイルヘッダ Data descriptor セントラルディレクトリエントリ セントラルディレクトリの終端レコード gzipからzipへの変換 gzipヘッダの処理 gzipファイル本体の処理 gzip trailerの処理 複数gzipファイルの連結 PoC まとめ 概要 先日Dirty PipeというLinuxカーネルの脆弱性が公表されました。 dirtypipe.cm4all.com この脆弱性の原理自体も面白いのですが、その前に報告者の組織で行っているGzipとZIPの処理で引っかかったのでまず先にそち
How to speed up LZ4 decompression in ClickHouse?
When you run queries in ClickHouse, you might notice that the profiler often shows the LZ_decompress_fast function near the top. What is going on? This question had us wondering how to choose the best compression algorithm. ClickHouse stores data in compressed form. When running queries, ClickHouse tries to do as little as possible, in order to conserve CPU resources. In many cases, all the potent
zstandard-overview.html
I recently realised that, while there is a specification for Zstandard, which describes in great details what is encoded where, there is no “overview” of the format, which would be neither too detailed nor too vague for programmers with a casual interest in data compression to understand its inner working. This blog post is an attempt to correct that. Introduction Zstandard is an LZ77-class compre
2016年のOSS圧縮ツール選択カタログ - Qiita
まだgzipで消耗し（略） 2016年、人類が待ち望んでいた、gzipを圧倒するOSS圧縮ツールzstd(Zstandard)がリリースされたにも関わらず、なんかあんまり話題になっていなくて寂しいので、ちょろいかんじの賑やかし比較記事を書きました。圧縮ツールのカタログ的に眺めていただけるかと思います。 はじめに （この記事で言う）圧縮ツールとは何か 圧縮ツールという呼び名は正確ではない（はず）です。平たく言えば、gzipやbzip2、xz、lz4などですが、人によっては、tarの裏側としてしか使ってなくて、聞いたこともないかもしれませんね。そういうときはまずgzipのmanpageとか読んでください。 しかし、そういうツールを何と呼べばいいのかわからないので、ここでは圧縮ツールと呼んでいます。 ややこしいですが、アーカイバではありません。アーカイブとは実態が一つのファイルになっているフォル
GitHub - ebiggers/libdeflate: Heavily optimized library for DEFLATE/zlib/gzip compression and decompression
libdeflate is a library for fast, whole-buffer DEFLATE-based compression and decompression. The supported formats are: DEFLATE (raw) zlib (a.k.a. DEFLATE with a zlib wrapper) gzip (a.k.a. DEFLATE with a gzip wrapper) libdeflate is heavily optimized. It is significantly faster than the zlib library, both for compression and decompression, and especially on x86 and ARM processors. In addition, libde
LZ4 explained
At popular request, this post tries to explain the LZ4 inner workings, in order to allow any programmer to develop its own version, potentially using another language than the one provided on Google Code (which is C). The most important design principle behind LZ4 has been simplicity. It allows for an easy code, and fast execution. Let's start with the compressed data format. The compressed block
Javaの圧縮・解凍ライブラリ（JDK標準GZIP、Commons Compress、snappy-java、LZ4 Java）を試す - CLOVER🍀
ちょっと圧縮・解凍ライブラリを調べていまして、簡単に以下あたりを比較したり、確認するための 下地を作ってみようかなと思いまして。 参考） 2016年のOSS圧縮ツール選択カタログ Snappyとか名前をちらっと見かけたことがあるくらいだったので、こういう機会に1度見ておこうかと。 ピックしているものはけっこう適当だったり雰囲気だったりしますが、ご愛嬌。 なお、とりあえず確認にはテストコードを使うため、JUnitとAssertJをMaven依存関係に加えている ものとします。 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> <dependency> <groupId>org.assertj
Introducing Brotli: a new compression algorithm for the internet
The latest news from Google on open source releases, major projects, events, and student outreach programs. At Google, we think that internet users’ time is valuable, and that they shouldn’t have to wait long for a web page to load. Because fast is better than slow, two years ago we published the Zopfli compression algorithm. This received such positive feedback in the industry that it has been in
Engineering fast indexes
Contemporary computing hardware offers massive new performance opportunities. Yet high-performance programming remains a daunting challenge. We present some of the lessons learned while designing faster indexes, with a particular emphasis on compressed bitmap indexes. Compressed bitmap indexes accelerate queries in popular systems such as Apache Spark, Git, Elastic, Druid and Apache Kylin.Read les
Roaring Bitmaps
A better compressed bitset Roaring bitmaps are compressed bitmaps. They can be hundreds of times faster. Grab one of our research papers Roaring Bitmaps on GitHub Widely used Roaring is found in Google Procella: YouTube’s SQL Engine, Apache Lucene and derivative systems such as Solr and Elasticsearch, Apache Druid, Apache Spark, Apache Hive, Apache Tez, Apache Zeppelin, Apache Doris, Apache Carbon
Open Ecosystem
Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Alder Lake Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Standard compression algorithm could revolutionize physical and biological computations, researchers say
Fuzz-Testing the Snappy Compression Algorithm
Loading...
INTEL コード & ダウンロード
Design of Hardware Accelerator for Lempel-Ziv 4 (LZ4) Compression
lz4/doc/lz4_Frame_format.md at dev · lz4/lz4
GitHub - facebook/zstd: Zstandard - Fast real-time compression algorithm
Facebook Open-Sources New Compression Algorithm Outperforming Zlib
