"Just in Time" Decompression in Analytic Databases - The Database Column
By Michael Stonebraker on September 4, 2009 12:51 PM | Permalink | Comments (0) | TrackBacks (0) A Deeper Look at Compression in Analytic Database Systems So far, most of the analysis of compression in data warehouse database products has centered around its effects on I/O and storage requirements. The main points often discussed relate to the compressibility of columnar databases versus that of r
Interpolative coding - tsubosakaの日記
今日のInterpolative codingの話が面白かったのと復号の部分のコードが必ずしも自明ではないかと思ったのでメモ。 Interpolative codingは長さと出てくる値の最小値、最大値が分かっている狭義単調増加な自然数のリストを圧縮する方法である。 ここで最大値とはリストの最大値ではなく、たとえば転置リストであれば最大の文書IDなど圧縮を行う際に出てきうる値の最大値である。 Interpolative codingの基本的な考え方としてはたとえば1から20までの数が表れるとわかっておりかつリストの長さが20であるということが分かっていれば、なにもデータがなくてもリストが[1..20]であるとわかるということに基づいている。 ここでは例で説明する。長さ7のリスト<7;3,8,9,11,12,13,17>を圧縮することを考える。またここで出てくる数の最大値は20であることが分
Data Compression with the Burrows-Wheeler Transform | Mark Nelson
The world is not yet exhausted; let me see something tomorrow which I never saw before. – Samuel Johnson In all chaos there is a cosmos, in all disorder a secret order.– Carl Jung Introduction In mathematics, difficult problems can often be simplified by performing a transformation on a data set. For example, digital signal processing programs use the FFT to convert sets of sampled audio data poin
転置インデックスの圧縮 - tsubosakaの日記
Managing Gigabytes勉強会で転置インデックスの圧縮の話が出たので実際に圧縮を行った場合にどれくらいのサイズになるかを計測してみた。 利用したデータは英語版Wikidiaの全記事で 文書数 2,872,589 単語数 2,735,620 転置インデックスのポインタの数 397,603,176 ぐらいのサイズのデータです。 無圧縮の転置インデックスのフォーマットは 単語ID,文書数,文書1,....文書N, 単語ID,...で各項目4byteとなっており、1.5Gぐらいのサイズになっています。 これに対して各圧縮アルゴリズムを適用した結果は アルゴリズム 無圧縮 Variable Byte Code unary符号 γ符号 δ符号 Rice Coding pforDelta(仮) サイズ 1537MB 497MB 239475MB 474MB 407MB 367MB 455MB
ゴロム符号 - Wikipedia
ゴロム符号（ゴロムふごう、Golomb coding)とは、南カリフォルニア大学のソロモン・ゴロムによって開発された、幾何分布に従って出現する整数を最適に符号化することのできる整数の符号化手法である。 ゴロム符号と類似の手法にライス符号があるが、ゴロム符号の特別な場合がライス符号になるため、ライス符号のことをゴロム・ライス符号(Golomb-Rice coding)と呼称することが多い。特にライス符号は符号化・復号の計算量が少ないことが特徴。圧縮率は幾何分布の時はハフマン符号と同一で、それ以外ではそれよりも悪い。 符号化の原理[編集] 符号化のパラメータとして、1 以上の整数値 m を用いる。 m > 1 のとき、符号化対象とする整数値 x(≧0) に対して、x を m で割った商を q 余りを r とする。 商 q をunary符号を用いて符号化する。 余り r は に従って、次のように
データ圧縮（アルゴリズム一覧） - Wikipedia
「圧縮ファイル」はこの項目へ転送されています。複数のファイルを一つのファイルにまとめることについては「アーカイブ (コンピュータ)」をご覧ください。 データ圧縮（データあっしゅく、英: data compression）とは、あるデータを、そのデータの実質的な内容（情報、あるいはその情報量）を可能な限り保ったまま、データ量を減らした別のデータに変換すること。高効率符号化ともいう。 データ圧縮は、データ転送におけるトラフィックやデータ蓄積に必要な記憶容量の削減といった面で有効である。しかし圧縮されたデータは、利用する前に伸長（解凍）するという追加の処理を必要とする。つまりデータ圧縮は、空間計算量を時間計算量に変換することに他ならない。例えば映像の圧縮においては、それをスムーズに再生するために高速に伸長（解凍）する高価なハードウェアが必要となるかもしれないが、圧縮しなければ大容量の記憶装置を必
算術符号化法における復号プログラムの動作試験及び 適応的アルゴリズムの性能評価実験と動作特性の測定
Project ITADACI 算術符号化法における復号プログラムの動作試験及び 適応的アルゴリズムの性能評価実験と動作特性の測定 Project ITADACI （長野大学産業社会学部産業情報学科） 概要： 著名な圧縮アルゴリズムである算術符号化法における静的方法と適応的方法の概念及び動作原理を紹介する。また、これまでの研究を引き継ぎ、復号プログラムの動作試験を行った。そして、双方の圧縮効果の差違を確認する為に行った比較実験及び適応的方法における出現確率の遷移を確認する為に行った動作実験について、それらの結果を報告し考察する。 INDEX 0. 始めに 1. 情報の圧縮 1.1 圧縮手段の概要 1.1.1 可逆圧縮と非可逆圧縮 1.1.2 符号化の手順 1.1.2.1 モデル化 1.1.2.2 符号化 1.1.3 静的方法と動的方法 1.1.4 適応的方法（adapt
DMC.fm
THE COMPUTER JOURNAL, VOL. 30, NO.6, 1987 541 Data Compression Using Dynamic Markov Modelling G. V. CORMACK* AND R. N. S. HORSPOOL* * Department of Computer Science, University of Waterloo, Waterloo, Ontario N2L 3G 1, Canada * Department of Computer Science, University of Victoria, P.O. Box 1700, Victoria, B.G. V8W 2Y2, Canada (Address for correspondence) A method of dynamically constructing Marko
DMC(Dynamic Markov Coding)によるデータ圧縮 - yoshida4の日記
参照 G. V. Cormack and R.N.S.Horspool. Data Compression Using Dynamic Markov Modeling. The Computer Journal, 30(6) :541-550, 1987. 概要 DMC メッセージのバイナリ表現の性質を表す 先のメッセージを予測することで、データ圧縮する(Guazzoの方法を用いる) 適応型 結果、効率的な圧縮に成功 はじめに データ圧縮法 ソースデータの構造に関するアプリオリな仮定をもとにしている。 例)Huffman coding 今回は、ソースデータを離散マルコフ連鎖モデルによって作られたビットの流れと仮定する。 研究の方向性 データを表すマルコフ連鎖モデルを発見する メッセージの初めでモデルを構築して、予測する 各状態が次の遷移確率を保持する Guazzoのアルゴリズム まず、 H
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Compressing Integer Sequences and Sets
Entropy Compression Methods.
サービス終了のお知らせ
Bal4u : C/UVa - 算術符号 Arithmetic coding
サービス終了のお知らせ
データ圧縮の基礎
サービス終了のお知らせ
サービス終了のお知らせ
サービス終了のお知らせ
サービス終了のお知らせ
サービス終了のお知らせ