エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
AWS Glueを使ってノンコーディングでParquet形式に変換してみよう - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWS Glueを使ってノンコーディングでParquet形式に変換してみよう - Qiita
はじめに Parquet データ分析用途でParquetというデータ形式が利用されます。これはデータを行ではなく... はじめに Parquet データ分析用途でParquetというデータ形式が利用されます。これはデータを行ではなく列ベースでカラムで格納することでデータを集計しやすく、列方向に同じ種類のデータが並んでいるので圧縮にも効果があります。 圧縮率が高いということはHadoopをはじめとする分散処理基盤で読み込むデータ量が少なくなるのでそれだけ速度にも影響してきます。 速くなるのか? こちらの投稿を見ると必ずしも早くなるとは言えないようですね。 https://dev.classmethod.jp/cloud/aws/amazon-athena-using-parquet/ 投稿を見るとデータサイズが小さいので、効果があるかないかは正しく言えない気はしましたが、どちらにせよデータの種類、内容やサイズや、投げるクエリによって色々と変わるのでとにかく試してみないと正しいことは言えないようです。 今回のプ

