Brotli - Wikipedia
Brotli[読み疑問点]は、Jyrki AlakuijalaとZoltán Szabadka（英語版）により開発されたオープンソースのデータ圧縮ライブラリである[3][4]。 概要[編集] BrotliはLZ77やLZ78とハフマン符号化、および2次文脈モデリング（英語版）処理の近代的な亜種がベースである。 Chrome、Opera、Firefox、Microsoft Edgeなど、Internet Explorerを除いた主要なブラウザはこのライブラリによる圧縮の恩恵を受けたWebブラウジングが可能である[5][6]。同じくGoogleにより開発されたZopfliと同じく、スイスのパンであるbrötli（英語版）に由来している[7]。 詳細[編集] Brotliの最初の発表は2015年、webフォントのオフライン圧縮を目的にしてのことであった[8]。同年9月、Googleのソフトウェア
文法圧縮入門：超高速テキスト処理のためのデータ圧縮（NLP2014チュートリアル）
言語処理学会第２０回年次大会（2014/3）のチュートリアル講義資料です。 - 要旨 - 文法圧縮とは，入力テキストをよりコンパクトな文脈自由文法（CFG）に変換する圧縮法の総称である． 文法圧縮の強みは圧縮テキストを展開すること無く，検索等のテキスト処理を効率よく行える点にある． 驚くべきことにその処理速度は，元テキスト上での同じ処理を理論的に，時には実際にも凌駕する． また近年，ウェブアーカイブやログ，ゲノム配列等の大規模実データを高効率に圧縮できることで注目を集めている． しかしながら，文法圧縮についての初学者向けの解説資料はまだまだ少ない． そこで本チュートリアルでは，文法圧縮の歴史的背景から最新動向までを幅広く紹介する． 具体的には文法変換アルゴリズム，圧縮テキスト上での文字列パターン検索，文法圧縮に基づく省メモリデータ構造等の解説を行う．Read less
C++の行列ライブラリ Eigenの紹介 - Preferred Networks Research & Development
C++で行列計算をする場合に便利なライブラリEigenを紹介したいと思います。 ベクトル・行列演算は知っているからEigenの使い方だけを教えてくれというかたは最初の章は読み飛ばしてください。 — 多くの統計処理がベクトル・行列演算を用いるとコンパクトに表すことが知られています。ちょっと複雑そうにみえる問題も整理してみるとベクトル・行列演算で書ける場合が多いです。（ベクトル・行列という言葉に抵抗がある方はそれぞれを単に配列、配列の配列とでも思ってもらえればいいでしょう）。ベクトルの内積は\(u^T v = u_1 v_1 + u_2 v_2 + \ldots +\)として求められ、ベクトルのノルムは自分自身のベクトルとの内積の平方根、\(|u| = \sqrt{ u^T u} \)として求められます（以降ベクトルは全て列ベクトルを指すとします）。 例えば、あるユーザーの商品の購買履歴は、\
)
Universal code (data compression) - Wikipedia
This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Universal code" data compression – news · newspapers · books · scholar · JSTOR (November 2011) (Learn how and when to remove this message) Fibonacci, Elias Gamma, and Elias Delta vs binary coding Rice wi
Simple-9について解説 - tsubosakaの日記
前回に引き続き転置インデックスの圧縮を実装してみる。今回紹介するのは[2]で提案されているSimple-9というアルゴリズムである。 Simple-9は32bitのwordにできるだけ数字を詰めていくという圧縮アルゴリズムである。例えば2bitの数が16個ならんでいれば32bitで表現できる。しかし、実際は大きい数字も出現するため数字の長さの情報も格納する必要がある。Simple-9では4bitを用いて残りの28bitがどう詰められているかを表す。 28bitの表し方としては 上位bit 符号の個数 符号のビット長 0000 28 1 0001 14 2 0010 9 3 0011 7 4 0100 5 5 0101 4 7 0110 3 9 0111 2 14 1000 1 28 の9通りがあり、これがSimple-9の名前の由来となっている。 例えば ( 3 , 5 , 0 , 0 ,
バイナリファイルの差分を作るzdeltaが便利 - kanblr
去年のネタになってしまうんですが、ある程度でかく、かつ都度更新され続けるファイルの転送量を削減したいなーということになって、ちょっとずつ更新されてるなら実は差分は小さいんじゃね?ということで、バイナリのdiffをとって転送先でpatchをあてる、みたいなことが出来ないかなーと調べてました。 バイナリ差分生成系で一番ポピュラーなのはxdeltaのようで実際yumやaptで簡単に入れられるし、プロジェクトとしても更新が続いててドキュメントも揃っててなかなか良さげ。一方で bsdiffとxdeltaを比較してみた という記事で紹介されている bsdiff というのもあって、Google Chromeのアップデートとかでも使われたりしている模様(chromeの差分アップデートでは更に逆アセンブルした結果を差分アップデートしたりとか変態的なことやってるようですが)。 比較してみると、確かに bsdi
文字列データ圧縮ことはじめ | SlideShare
2012/6/21のPFI全体セミナー, 「文字列データ圧縮ことはじめ」の内容です。データ圧縮の話とそれに纏わる歴史と最近の話を紹介しています。
D-Gap Compression
Introduction In certain cases, bit blocks will frequently have a non-random bit distribution pattern. Here's an example: 0001000111001111 Patterns such as these can be represented in different ways. One of the most popular is a list of integers, each representing 1 bit. For example { 3, 7, 8, 9, 12, 13, 14, 15, 16 } This is a list of indexes of bits stored as an ascending sequence of integers. Ano
Haar wavelet - Wikipedia
The Haar wavelet In mathematics, the Haar wavelet is a sequence of rescaled "square-shaped" functions which together form a wavelet family or basis. Wavelet analysis is similar to Fourier analysis in that it allows a target function over an interval to be represented in terms of an orthonormal basis. The Haar sequence is now recognised as the first known wavelet basis and is extensively used as a
LZO vs Snappy vs LZF vs ZLIB, A comparison of compression algorithms for fat cells in HBase
LZO vs Snappy vs LZF vs ZLIB, A comparison of compression algorithms for fat cells in HBase Now and then, i talk about our usage of HBase and MapReduce. Although i am not able to discuss details further than what writes on my linkedin profile, i try to talk about general findings which may help others trying to achive similar goals. This post is about a recent research which tries to increase IO p
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PowerPoint Presentation
サービス終了のお知らせ
.kkrieger - Wikipedia
GitHub - lz4/lz4: Extremely Fast Compression algorithm
社内技術セミナー発表（未遂）資料 - snappyについて
Am I missing something about BER-compressed integer?
No website is currently present on this hostname
snappy -A fast compressor/decompressor - Google Project Hosting