Facebookが開発した圧縮アルゴリズムZstandardについて調べた(非常に高速)(今日から使えます) - Lambdaカクテル
Common Lispの処理系であるSBCLをインストールしようとしたら、追加でlibzstd-develというのを新たに要求されるようになっていた。見るからに圧縮系のライブラリだけれど聞き慣れないのでちょっと調べてみた。 ちょろっと調べたところ、以下のことが分かった: Zstandard(ゼットスタンダード？)というのが正式な名前。 Facebookが開発した。 Deflateよりも速いことを主眼においている。 BSDライセンス。 Linuxカーネルまわりで使えるようになっているほか、一部のディストロではパッケージの圧縮フォーマットとして使われているようだ。 Webというよりはどちらかといえばバックエンド的な箇所で使われている印象がある。 facebook.github.io zstd コマンド使ってみた 他の名だたる圧縮アルゴリズム同様、Linuxで直接ファイルに対してこれを実行して圧
圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ
Google、画像フォーマット「WebP」に可逆圧縮と透明度を追加
GoogleがWeb高速化を目的に開発している画像フォーマット「WebP」に、PNGよりファイルサイズを小さくできる可逆圧縮モードと、アニメーションに必要なアルファチャンネル機能が追加された。 米Googleは11月18日（現地時間）、オープンソースのWeb向け画像フォーマット「WebP（ウェッピーと読む）」に、可逆圧縮（ロスレス圧縮）モードと透過度を設定できるアルファチャンネルを追加したと発表した。 WebPは、同社が昨年9月に発表した画像フォーマット。Webサイトのページ読み込みの高速化を目的としており、ビデオフォーマット「WebM」のビデオ圧縮技術「VP8」を流用している。発表の時点では、JPEGのような非可逆圧縮にのみ対応していた。10月にはアニメーション、ICCプロファイル、XMPメタデータをサポートした。 Webページ向けの画像フォーマットとしては、一般に写真など階調の細かい画
LZH・ZIP・RARなどの圧縮ファイルを別の圧縮形式に変換するフリーソフト「Archive Converter」
LZH形式が事実上使用が非推奨になり、自分の手持ちの大量にあるLZHファイルをどうやってZIPファイルなどに変換すればいいのかと思い悩んで途方に暮れている人に最適なのがこのフリーソフト「Archive Converter」です。高機能な圧縮・解凍ソフト「Explzh」の作者が作って配布しており、「送る」メニューや指定フォルダ以下の圧縮ファイルを一括して変換することもできます。 対応している圧縮形式はLZH・ZIP・CAB・TAR (GZ/BZ2)・ARJ・RAR・BZA (GZA)・GCA・YZ1・ACE・7z形式となっており、自己解凍解凍形式への変換も可能です。 詳細は以下から。 Archive Converter アーカイブ変換ツール Archive Converter Ver.0.31 ダウンロード 対応OSはWindows98からWindows7までで、64ビット版には未対応。まず
Unlha32.dll等開発停止、LHA書庫の使用中止呼びかけ - Claybird の日記
今日ではほとんどのウイルス対策ソフトが書庫ファイルに対しウイルスチェックを行う機能を備えているが、多くのウイルス対策ソフトで「LZH書庫ファイルのヘッダー部分に細工を施すことでウイルスチェックを回避できる」という脆弱性が存在するとのこと（LZH書庫のヘッダー処理における脆弱性について）。 Micco氏はこれをJVN（Japan Vulnerability Note、JPCERTおよびIPAが共同運営する脆弱性情報集積サイト）に報告したところ、「不受理」となったそうだ。ZIPや7z形式の書庫にも同様の問題があるものの、そちらは「脆弱性」として受理されているとのこと。Micco氏曰く、 「ベンダー， JVN / IPA 等共に『LZH 書庫なんて知らねぇ～よ』という態度から変わることはない」と判断できましたので， UNLHA32.DLL， UNARJ32.DLL， LHMelt の開発を中止す
The Art of Work：MySQL InnoDB Pluginのデータ圧縮機能 性能編 - SH2の日記
MySQL InnoDB Pluginのデータ圧縮機能の続きです。前回はInnoDB Pluginの独自機能であるデータ圧縮の仕組みを解説し、Wikipedia日本語版のデータが約半分にまで圧縮されることを確認しました。今回はデータ圧縮によって性能がどのように変化するかを、実際にベンチマーク試験を行って見ていきます。 試験の方針 データ圧縮による性能への影響は、以下の二点が考えられます。 メリット：データサイズが小さくなるため、ディスクI/Oが減る デメリット：圧縮・展開の処理が行われるため、CPU負荷が高くなる そこで、これらの特徴がよく分かるように試験パターンを工夫します。Wikipedia日本語版のデータはInnoDB上でおよそ5GBありますが、まず狭い範囲に絞って読み取り処理を行うことでディスクI/Oがあまり発生しないようにします。これでCPU負荷の傾向を確認することができます。次
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: fashion trends All Inclusive Vacation Packages Best Mortgage Rates find a tutor Credit Card Application Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy|Do Not Sell or Share My Personal Information
7-Zip
ライセンス 7-Zipはオープンソースのフリーソフトウェアです。ほとんどのソースコードはGNU LGPLのライセンスです。一部のコードは修正BSDライセンスです。また、一部のコードはunRARライセンスの制限があります。 ライセンスについては、7-Zip licenseを参照してください。 7-Zipは企業利用も含め任意のコンピュータで利用可能です。7-Zipのための登録や費用は一切必要ありません。 7-Zipの主な機能 LZMAやLZMA2方式を備えた7zファイルにおける高いデータ圧縮率 対応形式: 圧縮/解凍(展開): 7z, XZ, BZIP2, GZIP, TAR, ZIP, WIM 解凍(展開)のみ: APFS, AR, ARJ, CAB, CHM, CPIO, CramFS, DMG, EXT, FAT, GPT, HFS, IHEX, ISO, LZH, LZMA, MBR,
GNU tar 1.22リリース gzipより圧縮効率が大きく向上した「xz」をサポート
GNUプロジェクトは3月5日、GNU tar 1.22をリリースした。このバージョンでは、新たに「xz圧縮」をサポートする“－－xz”オプションが追加された。この見慣れない圧縮形式は、.lzmaを置き換えるものとして、LZMA UtilsをリリースしてきたTukaaniプロジェクトが公開したフォーマット。拡張子は.xzだ。 GNUプロジェクトは3月5日、GNU tar 1.22をリリースした。tarは、複数のファイルを1つにまとめるUNIX標準のファイルアーカイブ。GNU tarバージョン1.22では、新たに「xz圧縮」をサポートする“--xz”オプションが追加された（“-J”にショートカットがアサインされている）。 この見慣れない「xz」という圧縮形式は、これまでLZMA UtilsをリリースしてきたTukaaniプロジェクトが1月29日に正式公開したフォーマットで、拡張子は.xz。既存
Wavelet Tree - naoyaのはてなダイアリー
圧縮全文索引の実装などでしばしば利用される Rank/Select 辞書と呼ばれるデータ構造があります。詳しくは参考文献を参照していただくとして、今回は一般の文字列に対して効率的に Rank/Select を可能とするデータ構造である Wavelet Tree (ウェーブレット木) のライブラリを作りました。 http://github.com/naoya/perl-algorithm-wavelettree/tree/master my $wt = Algorithm::WaveletTree->new("abccbbabca"); is $wt->rank(6, 'a'), 2; is $wt->rank(6, 'b'), 3; is $wt->rank(9, 'b'), 4; is $wt->select(0, 'a'), 0; is $wt->select(1, 'a'), 6;
Algorithm::MTF / BWT → MTF → Range Coder によるデータ圧縮 - naoyaのはてなダイアリー
先日言及した Burrows Wheeler Transform (id:naoya:20081016:1224173077) による変換後のテキストは圧縮に使えたり、全文索引に利用できたりと応用範囲は広いです。 BWT により変換したテキストを圧縮するには、そのまま圧縮するのではなく先頭移動法 (Move-To-Front http://ja.wikipedia.org/wiki/Move_To_Front) を適用することでより情報に偏りを持たせてから圧縮するのがセオリーです。 今日は先頭移動法の Perl 実装を作ってみました。Algoritm::MTF です。 http://github.com/naoya/perl-algorithm-mtf/tree/master に置いています。 use Algorithm::MTF; my $encoder = Algorithm::MTF
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 詳解 圧縮処理プログラミング: 昌達慶仁: 本
ICSharpCode
gzipの代わりにxzを使おう | Okumura's Blog
Amazon.co.jp: 図解入門よくわかる最新データ圧縮技術の基本と仕組み (How‐nual Visual Guide Book): 大輔,岡野原, 秀明,小川, 健,藤本: 本