タグ

Snappyに関するkimutanskのブックマーク (2)

  • 高速な圧縮・解凍アルゴリズムsnappy

    最近、シリアライズ・デシリアライズについて調べています。 MessagePack、Kryo、Protocol Buffersなどのシリアライザーのパフォーマンス比較 それと同時に、圧縮・解凍のアルゴリズムについても調べています。 ネットワークごしに大きなデータを取得するには? ネットワークごとに大きなデータを取り出そうと考えています。この時、ネットワーク遅延が大きい場合、圧縮してから転送する方法が有効です。 ブラウザでWEBサイトを見る場合にも圧縮して転送する手法は良く用いられていて、この場合gzipに圧縮して転送することが多いと思います。 今回は、バックエンドサーバでデータのやりとりをするのに、圧縮転送をしたいと考えており、シリアライズ・デシリアライズの手法と共に、圧縮・解凍のアルゴリズムについても調べました。 調べましたと書きましたが、当は調べてもらいました。 調べてもらったところ、

    高速な圧縮・解凍アルゴリズムsnappy
    kimutansk
    kimutansk 2014/12/04
    コマンドラインの何かを即インストールできないというのは地味に痛いですねぇ・・とまぁ、コマンドで間に合う領域なら他の圧縮形式使えということですか。
  • snappy-java: Java port of the snappy, a fast compressor/decompresser

    Fast compression/decompression around 200~400MB/sec. Less memory usage. SnappyOutputStream uses only 32KB+ in default. JNI-based implementation to achieve comparable performance to the native C++ version. Although snappy-java uses JNI, it can be used safely with multiple class loaders (e.g. Tomcat, etc.). Compression/decompression of Java primitive arrays (float[], double[], int[], short[], long[]

    snappy-java: Java port of the snappy, a fast compressor/decompresser
    kimutansk
    kimutansk 2014/10/19
    Java用Snappyのライブラリと。ストリーム書き込みが出来るとすると、後からいくらでも追記が出来るということでしょうかね。
  • 1