parquet-toolsを使ってParquetファイルの中身やスキーマを確認する方法 | Lancork
※当ブログではアフィリエイト広告を利用しています。 Apache Hive のテーブルでサポートされているファイルフォーマットのPARQUETは、ファイル単体では中身を確認するのが困難です。 Parquet ファイルを検査できるツール parquet-tools を使って中身を確認してみたので、その方法をメモします。 parquet-tools とは Apache Parquet が公開している Java ベースのコマンドラインツールです。Parquet ファイルの中身・スキーマ・メタ情報などをコマンドラインから簡単に確認することができます。 ソースコードは GitHub で公開されています。 GitHub – apache/parquet-mr at parquet-1.11.x ※2021/01/16追記 masterbranch ではこちらのCommitでparquet-toolsか
CSV ファイルを Parquet ファイルに変換してクエリを高速化 - nagix
この記事は Apache Drill Advent Calendar 2015 の8日目の記事です。 Apache Drill では Apache Parquet という大規模データの分析に適したデータフォーマットを利用することができます。Row-oriented フォーマットにカテゴリ分けされる CSV、TSV といったテキストファイルや伝統的なリレーショナルデータベースのテーブルでは、データは行方向に沿って格納されますが、Column-oriented フォーマットにカテゴリ分けされる Parquet、ORC といった形式のデータは列方向に沿って格納されます。 データ分析用途には Column-oriented フォーマットが向いているとよく言われますが、データ分析では特定の列の値を集計したり、特定の列の条件を元にフィルタリングやジョインが行われることが多いため、列方向にデータが連続し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
