Athena での圧縮のサポート - Amazon Athena
Athena は、複数の圧縮形式を使用するテーブルからの読み取りなど、データの読み書きのためのさまざまな圧縮形式をサポートしています。例えば、一部の Parquet ファイルが Snappy で圧縮されており、他の Parquet ファイルは GZIP で圧縮されているといった、Parquet ファイル形式を使用するテーブル内のデータも、Athena は正常に読み取ることができます。同様なことが ORC、テキストファイル、および JSON のストレージ形式に対しても当てはまります。 Athena は以下の圧縮形式をサポートしています。 BZIP2 – Burrows-Wheeler アルゴリズムを使用する形式。 DEFLATE – LZSS および Huffman コーディングをベースにした圧縮アルゴリズム。DEFLATE が適しているのは Avro ファイル形式のみです。 GZIP –
遲延評價Streamでgzip/gunzipするElixirのライブラリを作った - c4se記：さっちゃんですよ☆
Stream で hash を計算する stream_hash | Hex 何故無かった。 github.com "test/fixture/xyzxyz.txt" |> File.stream! |> StreamHash.hash(:sha512) |> Enum.to_list |> hd # <<215, 133, 241, 243, 115, 159, 59, 127, 111, 242, 140, 106, 171, 211, 130, 48, # 174, 198, 241, 236, 195, 112, 105, 150, 106, 133, 78, 249, 2, 178, 132, 254, # 50, 181, 85, 46, 183, 97, 187, 7, 38, 17, 26, 188, 232, 143, 152, 210, 71, 54, # 245, 48
Man page of GZIP
Section: User Commands (1) Updated: local Index JM Home Page roff page 名前 gzip, gunzip, zcat - ファイルの圧縮、伸長を行う 書式 gzip [ -acdfhklLnNrtvV19 ] [-S suffix] [ name ... ] gunzip [ -acfhklLnNrtvV ] [-S suffix] [ name ... ] zcat [ -fhLV ] [ name ... ] 説明 gzip コマンドは Lempel-Ziv コーディング (LZ77) を利用して、 指定されたファイルのサイズを削減します。 各ファイルは拡張子 .gz をつけたファイルに置き換えられ、 所有権、 アクセス時刻、 修正時刻は保持されます (デフォルトの拡張子は、 MSDOS, OS/2 FAT, Wind
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「PC盗難」最新質問一覧 - 質問！ITmedia
gzip package - compress/gzip - Go Packages
GitHub - ne-sachirou/stream_gzip: Gzip or gunzip an Elixir stream
GitHub - antonmedv/jsize: Find out minified and gzipped npm package size
S3に置いたGzip圧縮済みCSVファイルをRubyで読み込んでみた - Qiita
GitHub - wkoszek/mini_gzip: mini_gzip - embeddable, minimal, in-memory GZIP API
GitHub - nolanlawson/rollup-comparison: compare rollup to browserify/webpack
tar/zipコマンドで解凍・圧縮一覧まとめ（gz、zip、tar.xzなど）