WebAssemblyをNodeJS Native Addonの配布形式として使う - Islands in the byte stream
三行まとめ Cライブラリzopfliをwasmにビルドして npmjs.com にリリースしてみた wasmはポータブルなバイナリで、ネイティブコードと比較して半分程度の性能を期待できる emscriptenは N-API と比べると出来ることが少なすぎるのが課題 背景 WebAssembly *1 の評価のために、Cで書かれたzlib互換の圧縮ライブラリ google/zopfli をemscriptenでwasmにビルドしてリリースしてみました。 評価だけでなくリリースまでしたのは、zopfliのnodejs native addonである node-zopfli をしばしばインストールできないことがあるという問題があってそれを解決したかったからです。nodejsのnative addonはnode-gypというビルドツールを使うことが多いようですが、これはPython 2.x などn
Essential Image Optimization
Nothing compares to the excitement of hitting it lucky at an online casino and making a sizable profit off of modest bets. The best online casino enhances the familiarity and useful adaptability of classic casino games. You can employ large bets and gain access to several bonuses when you play with high stakes and earn huge payouts. We choose the best online casinos: Nine, Sportaza, Viggoslots, M
Zstandard と Zip ファイル : document
7月22 Zstandard と Zip ファイル Zstandard 対応のアーカイバ欲しい問題 Zstandard はパフォーマンスに優れたすばらしいものですが、今のところ個別のファイルしか圧縮できません。（いわゆるアーカイブ機能がない） Zstandard に対応したアーカイバ欲しいなと思っていたけど特に何もせずにいたのですが、最近 @__gfx__ さんの下記ツイートを見て再び興味を持ちました。 zipの中身、原理的にはzstdとかで圧縮してよさそうな気がしてる。— FUJI Goro (@__gfx__) 2017年7月20日 これは例えば Zip ファイルの仕様に Zstandard が追加され、その仕様に対応したアーカイバが公開されれば問題は解決しますが、そもそも仕様に追加されるかすらわかりません。 しかし、実際に仕様に追加されるのを待つのではなく、Zipでは圧縮を行わずアー
JSONデータ圧縮方式をSnappyからzstdに切り替えた事例紹介 | BLOG - DeNA Engineering
JSONデータ圧縮方式をzstdに切り替えデータ量を38.3%削減した事例、及びマイクロサービスの無停止アップデート事例について紹介したいと思います。 はじめに JPRゲーム事業本部開発基盤部の池田周平です。先日 Rails5対応についてDeNA techブログに投稿 した@namusyakaと同じチームで働いています。 JSON文字列をRDBに格納する際の圧縮フォーマットをSnappyからzstdに切り替え、データ量を削減した事例を紹介したいと思います。本対応を実施した目的はDB負荷対策です。DBで扱うデータをより小さくすることで、DBサーバのDiskI/O負荷とMaster-Slave間のレプリケーション遅延対策を目的としています。 「Sakasho」は、DeNAが持つモバイルゲームのためのプラットフォームです。複数タイトルのゲームを取り扱っており、一部データはゲーム毎の仕様差を吸収し
LZ4m: Taking LZ4 Compression To The Next Level - Phoronix
Happy Holidays! If you enjoy all the original Linux hardware reviews and open-source news content on Phoronix, consider joining Phoronix Premium this holiday season. For Black Friday / Cyber Monday, there is a cyber week special to go premium and enjoy an ad-free experience, native dark mode, and multi-page articles presented on a single page. LZ4m: Taking LZ4 Compression To The Next Level Written
Real-Time Adaptive Image Compression
We present a machine learning-based approach to lossy image compression which outperforms all existing codecs, while running in real-time. Our algorithm typically produces files 2.5 times smaller than JPEG and JPEG 2000, 2 times smaller than WebP, and 1.7 times smaller than BPG on datasets of generic images across all quality levels. At the same time, our codec is designed to be lightweight and de
2016年のOSS圧縮ツール選択カタログ - Qiita
まだgzipで消耗し（略） 2016年、人類が待ち望んでいた、gzipを圧倒するOSS圧縮ツールzstd(Zstandard)がリリースされたにも関わらず、なんかあんまり話題になっていなくて寂しいので、ちょろいかんじの賑やかし比較記事を書きました。圧縮ツールのカタログ的に眺めていただけるかと思います。 はじめに （この記事で言う）圧縮ツールとは何か 圧縮ツールという呼び名は正確ではない（はず）です。平たく言えば、gzipやbzip2、xz、lz4などですが、人によっては、tarの裏側としてしか使ってなくて、聞いたこともないかもしれませんね。そういうときはまずgzipのmanpageとか読んでください。 しかし、そういうツールを何と呼べばいいのかわからないので、ここでは圧縮ツールと呼んでいます。 ややこしいですが、アーカイバではありません。アーカイブとは実態が一つのファイルになっているフォル
Lepton image compression: saving 22% losslessly from images at 15MB/s | Dropbox Tech Blog
Lepton image compression: saving 22% losslessly from images at 15MB/s This open-source project is no longer maintained or supported by Dropbox. Please refer to Lepton’s GitHub page for more information. ~ ~ ~ We are pleased to announce the open source release of Lepton, our new streaming image compression format, under the Apache license. Lepton achieves a 22% savings reduction for existing JPEG i
OS X 10.11 El Capitanで採用されたAppleの新しい圧縮アルゴリズム「LZFSE」を使ってベンチマークテストをしてみた。
OS X 10.11 El CapitanではAppleの新しい圧縮アルゴリズム「lzfse」が利用可能になっています。詳細は以下から。 AppleはWWDC 2015のSession712 ”Low Energy, High Performance: Compression and Accelerate”で新しい圧縮アルゴリズム「lzfse」を発表しました。このアルゴリズムの特徴はzlib level 5と同程度の圧縮率を保ちながら(x軸)、エンコード・デコードは数倍早く(y軸 注:logプロット)、 LZFSE is a new algorithm, matching the compression ratio of ZLIB level 5, but with much higher energy efficiency and speed (between 2x and 3x) fo
文法圧縮入門：超高速テキスト処理のためのデータ圧縮（NLP2014チュートリアル）
言語処理学会第２０回年次大会（2014/3）のチュートリアル講義資料です。 - 要旨 - 文法圧縮とは，入力テキストをよりコンパクトな文脈自由文法（CFG）に変換する圧縮法の総称である． 文法圧縮の強みは圧縮テキストを展開すること無く，検索等のテキスト処理を効率よく行える点にある． 驚くべきことにその処理速度は，元テキスト上での同じ処理を理論的に，時には実際にも凌駕する． また近年，ウェブアーカイブやログ，ゲノム配列等の大規模実データを高効率に圧縮できることで注目を集めている． しかしながら，文法圧縮についての初学者向けの解説資料はまだまだ少ない． そこで本チュートリアルでは，文法圧縮の歴史的背景から最新動向までを幅広く紹介する． 具体的には文法変換アルゴリズム，圧縮テキスト上での文字列パターン検索，文法圧縮に基づく省メモリデータ構造等の解説を行う．Read less
情報圧縮と特許
■ 初めに これまで、GIF の LZW を初めとする情報圧縮に関する特許が、様々なところで取り上げられ論議を呼んできましたが、しかし、具体的な内容に踏み込んだものは少なかったように思います。 例えば、LZW の特許にしても、LZW のどの部分に特許権が認められているのか、と言う部分は殆ど触れられていなかったと思います。 しかし、これでは無意味な特許不安が広がるばかりで、今後の圧縮技術の普及に大きな影を落としかねません。実際、特許に抵触するかもしれないと言う理由だけで公開を停止したソフトウェアは多数存在します。 そこで、私がこれまで研究してきた圧縮技術と、調査した特許に関して、一部例を挙げながら、法律的な側面、技術的な側面の両面から、情報圧縮の特許について考えてみたいと思います。 ■ 特許とは？ それでは特許とは具体的にどのような性質のものでしょうか？ 特許とは、知的財産権制度の中で、発明
hpack.gby
1 HPACK 05 2014.1.28 @kazu_yamamoto 2 3 4 5 6 7 HPACK 8 9 @tatsuhiro-t http://lists.w3.org/Archives/Public/ietf-http-wg/2013JulSep/1135.html 10 11 HPACK HPACK HPACK 6 12 Haskell http2 6 HPACK https://github.com/kazu-yamamoto/http2 6 HPACK https://github.com/Jxck/hpack-test-case 13 14 Diff Linear HEADERS 1 1.57 ( 31.36 ) 15 Naive/NaiveH/Linear/LinearH 16 17 18 GHC 19 O(1) in worst O(N) in worst 20
Deflate (gzip) のアルゴリズムを視覚化してみた
のような感じにエンコードされることが分かります。 自分の好きなデータで試すことができて便利！という話でした。 PS. 以下は実行結果です。 % make % gzip < alice.txt > alice.txt.gz % ./puff -10 alice.txt.gz puff() succeeded uncompressing 1328 bytes 8 compressed bytes unused inpos=406,inbits=224,outpos=0,outbytes=45 41 6c 69 63 65 20 77 61 73 20 62 65 67 69 6e 6e 69 6e 67 20 74 6f 20 67 65 74 20 76 65 72 79 20 74 69 72 65 64 20 6f 66 20 73 69 74 74 A l i c e w a s b
SWFバイナリ編集のススメ番外編 (zlib 伸張) 中編 | GREE Engineering
よやと申します。こんにちわ。 今回は zlib 解説の中編です。前編はこちら ↓ http://labs.gree.jp/blog/2012/01/4082/ SWFバイナリ編集のススメ番外編 (zlib 伸張) 前編 前回、zlib ヘッダのバイナリを解説しました。今回はその後ろに続く Deflateストリームのバイナリ構造についてです。 尚、固定ハフマンまでの説明で長くなり過ぎたので、動的ハフマン(カスタムハフマン)は次回の後編で改めて解説いたします。 前回の復習 zlib は「zlib ヘッダ + Deflate ストリーム + ADLER32」のデータ形式です。尚、通常、zlib ヘッダ無しでも Deflate ストリームだけで圧縮元のデータを復元出来ます。(DICTID が存在すると話が少し厄介ですが、通常見かける事はないでしょう) Deflate はデータを任意の長さのブロック
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - carols10cents/zopfli: A Rust implementation of the Zopfli compression algorithm.
GitHub - inikep/lizard: Lizard (formerly LZ5) is an efficient compressor with very fast decompression. It achieves compression ratio that is comparable to zip/zlib and zstd/brotli (at low and medium compression levels) at decompression speed of 1000 MB/s
Pngquantjs- Compress pngs right inside your browser
Apple、新しい圧縮アルゴリズムLZFSEをオープンソース化
http://compression.ca/pbzip2/
http://terpconnect.umd.edu/~barua/matt-compress-tr.pdf