vcdiff: Data Compression Using Long Common Strings | kzk's blog
Recently, I have a strong demand for storing many many HTML contents, downloaded from the web. But storing them in raw data seems not clever way. Of course, we need the efficient compression. One of the most famous data compression is gzip, which uses LZ77 algorithm. LZ77 finds the repeating substring in the small window, and replace the repeating strings into (offset, size) pair. Although HTML ha
boost::iostreams で圧縮・復元（gzip） - やた＠はてな日記
C++ でデータの圧縮・復元をする場合，boost C++ library に便利な Filter があります．gzip -c や gzip -cd などで対応できないときには，検討する価値があると思います． Gzip Filters # リンクするときにライブラリ libboost_iostream... を指定する必要があります．また，zlib_compressor や bzip2_compressor も提供されています． #include <iostream> #include <boost/iostreams/filtering_streambuf.hpp> #include <boost/iostreams/filter/gzip.hpp> // 受け取ったデータを圧縮して出力ストリームに渡す． class Compressor { public: Compressor(std
zlib Home Site
A Massively Spiffy Yet Delicately Unobtrusive Compression Library (Also Free, Not to Mention Unencumbered by Patents) (Not Related to the Linux zlibc Compressing File-I/O Library) Welcome to the zlib home page, web pages originally created by Greg Roelofs and maintained by Mark Adler. If this page seems suspiciously similar to the PNG Home Page, rest assured that the similarity is completely coinc
zlib 入門
公式サイトは http://zlib.net/ になりました。 以下の記述はかなり古いものを急いで書き直したものです。 おかしなところがありましたらご教示ください。 zlib とは zlib は Zip や gzip に使われている圧縮アルゴリズムをライブラリ化したものです。 作者は Zip や gzip 同様 Jean-loup Gailly と Mark Adler です。 ライセンスは BSD 類似です（詳しくは zlib 配布に含まれる zlib.h のコメントをご覧ください）［標準では使用されませんが，アセンブラ版 match.S はGPLです］。 画像フォーマット PNG の圧縮も zlib で行われています。 Java（JDK 1.1 以降）には zlib に相当するものが組み込まれています。 java.util.zip のドキュメントをご覧ください。 zlib の圧縮アルゴ
Burrows-Wheeler変換の線形時間アルゴリズム - DO++
研究紹介です。今夏のSPIRE 2009という学会で "A Linear-Time Burrows-Wheeler Transform using Induced Sorting", D. Okanohara, K. Sadakane, SPIRE 2009 pdf(draft) というのを発表します。これは与えられた文字列に対し接尾辞配列を経ないでBurrows-Wheeler変換を直接行うというもので、アルファベットサイズによらず入力長に対して線形時間で行えます。基本的なアイディアは昨年のInduced Sortingによる接尾辞配列の線形時間構築アルゴリズム（いわゆるSAIS）を接尾辞配列を使わないでシミュレートするものです。pushとpop操作だけからなり、そのまま外部記憶上での構築とかにも対応できるようになっています。 Burrows-Wheeler変換（BWT, Block S
転置インデックスの圧縮 - tsubosakaの日記
Managing Gigabytes勉強会で転置インデックスの圧縮の話が出たので実際に圧縮を行った場合にどれくらいのサイズになるかを計測してみた。 利用したデータは英語版Wikidiaの全記事で 文書数 2,872,589 単語数 2,735,620 転置インデックスのポインタの数 397,603,176 ぐらいのサイズのデータです。 無圧縮の転置インデックスのフォーマットは 単語ID,文書数,文書1,....文書N, 単語ID,...で各項目4byteとなっており、1.5Gぐらいのサイズになっています。 これに対して各圧縮アルゴリズムを適用した結果は アルゴリズム 無圧縮 Variable Byte Code unary符号 γ符号 δ符号 Rice Coding pforDelta(仮) サイズ 1537MB 497MB 239475MB 474MB 407MB 367MB 455MB
BlockSorting
BlockSortingは、今までのデータ圧縮で有名な方法であるLZ法とは全く違う、ユニークな操作を用 いてデータを圧縮する方法であり、M.BurrowsさんとD.J.Wheelerさんが作者なので「BWTransform」 ともいいます。 このアルゴリズムは簡単に言ってしまえば、「データをぐるぐる回してソートして出力」というも のです。簡単すぎるかもしまいませんが、本当にそうなんです。 ちなみに、このBlockSorting、単体では全く圧縮しません。ただ可逆な形にデータを変換すると いうものです。しかし、BlockSorting後のデータは非常に圧縮されやすい状態になります。例える と、色々な形をしたスポンジ（データ）が箱にごちゃごちゃに入って山積みになっているとします 。 これをそのまま上からギューっと押しつぶすのがLZ法やHuffman法なのに対し、一度、形が似た も
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Global Perspectives: Enhancing Cultural Understanding in a Connected World – Viewpoint Vault
maximumcompression.com